Hướng dẫn azure function read csv file from blob storage python - Hàm azure đọc tệp csv từ python lưu trữ blob

0 phiếu "

Sumanthmarigowda-MSFT đã trả lời ngày 10 tháng 2, '21 answered Feb 10, '21

@Mohsenakhavan Chào mừng bạn đến với Microsoft Q & A, cảm ơn bạn đã đăng truy vấn của bạn!

Có một cuộc thảo luận chủ đề tương tự trong diễn đàn SO: https: //stackoverflow.com/questions/64619196

Làm thế nào để đọc nội dung tệp và phân tích tệp CSV từ Blob trong Azure?

Đọc CSV từ Blob Storage với chức năng Azure Không có quyền & cách đọc dữ liệu từ Blob Storage và truy cập nó bằng cách sử dụng ứng dụng Azure Function

Xử lý và xác thực tệp bằng các hàm Azure: https://docs.microsoft.com/en-us/samples/azure-samples/serverless-file-validation Ứng dụng-và các biến thể bền vững/

Hi vọng điêu nay co ich!

Vui lòng cho chúng tôi biết nếu những điều trên có ích hoặc bạn cần hỗ trợ thêm về vấn đề này.

Xin đừng quên rằng "chấp nhận câu trả lời và các cuộc bỏ phiếu lên bất cứ nơi nào thông tin được cung cấp giúp bạn, điều này có thể có lợi cho các thành viên khác trong cộng đồng.

Bình luận

5 | 1600Characters cần thiết characters needed characters left characters exceeded

• Có thể nhìn thấy tất cả người dùng
• Có thể nhìn thấy cho Poster & Microsoft ban đầu
• Có thể xem bởi người điều hành
• Có thể xem bởi người điều hành và poster ban đầu
• Khả năng hiển thị nâng cao

Chuyển đổi khả năng hiển thị nhận xét. Tầm nhìn hiện tại: Có thể hiển thị cho tất cả người dùng Visible to all users

Tệp đính kèm: Tối đa 10 tệp đính kèm (bao gồm cả hình ảnh) có thể được sử dụng với tối đa 3,0 mib mỗi và tổng cộng 30,0 mib. Up to 10 attachments (including images) can be used with a maximum of 3.0 MiB each and 30.0 MiB total.

0 phiếu "

Learn2Skills đã trả lời ngày 10 tháng 2, '21 Learn2Skills đã chỉnh sửa ngày 10 tháng 2, '21 answered Feb 10, '21 learn2skills edited Feb 10, '21

Xin chào @Mohsenakhavan

Sử dụng chức năng Azure để xuất các hàm Azure CSVUSE để xử lý tệp CSV và nhập dữ liệu vào Azure SQL
Use Azure Functions to process a CSV File and import data into Azure SQL

Nếu câu trả lời là hữu ích, xin vui lòng nhấp vào Accept Answer và bỏ phiếu UP, điều này có thể có lợi cho các thành viên khác trong cộng đồng.up-vote, this can be beneficial to other community members.

Bình luận

5 | 1600Characters cần thiết characters needed characters left characters exceeded

• Có thể nhìn thấy tất cả người dùng
• Có thể nhìn thấy cho Poster & Microsoft ban đầu
• Có thể xem bởi người điều hành
• Có thể xem bởi người điều hành và poster ban đầu
• Khả năng hiển thị nâng cao

Chuyển đổi khả năng hiển thị nhận xét. Tầm nhìn hiện tại: Có thể hiển thị cho tất cả người dùng Visible to all users

Tệp đính kèm: Tối đa 10 tệp đính kèm (bao gồm cả hình ảnh) có thể được sử dụng với tối đa 3,0 mib mỗi và tổng cộng 30,0 mib. Up to 10 attachments (including images) can be used with a maximum of 3.0 MiB each and 30.0 MiB total.

Xin chào @Jonmart-1581

Có thể có nhiều cách làm thế nào bạn có thể đọc tệp CSV bên trong ứng dụng chức năng. Tôi đã sử dụng gấu trúc để đọc và định dạng. Bạn có thể sử dụng mã dưới đây để tham khảo và bạn cần sửa đổi nó theo đầu ra mong muốn. Trong Yêu cầu.TXT tôi đã thêm dòng dưới đây để gói lưu trữ và gói Pandas có sẵn trong chức năng của tôi.

pandasazure-storage-blob
azure-storage-blob

Một số giá trị là mã cứng nhưng bạn có thể sử dụng đầu vào của người dùng để tìm kiếm giá trị cho các cột cụ thể. Vui lòng sử dụng cài đặt ứng dụng thay vì mã hóa cứng các chuỗi kết nối.

Bạn có thể tham khảo tài liệu tham khảo Pandas nếu bạn muốn có bất kỳ thay đổi nào đối với đầu ra của mình. Bạn cũng có thể tham khảo tài liệu Python lưu trữ Azure và ví dụ nếu bạn muốn sửa đổi bất kỳ chức năng nào.

Input:

 Identifier;AccessCode;RecoveryCode;First name;Last name;Department;Location
 9012;12se74;rb9012;Rachel;Booker;Sales;Manchester
 2070;04ap67;lg2070;Laura;Grey;Depot;London
 4081;30no86;cj4081;Craig;Johnson;Depot;London
 9346;14ju73;mj9346;Mary;Jenkins;Engineering;Manchester
 5079;09ja61;js5079;Jamie;Smith;Engineering;Manchester

Hàm Python:

 import logging
 from azure.storage.blob import BlobClient
 import pandas as pd 
 import os, io
    
 import azure.functions as func
    
    
 def main(req: func.HttpRequest) -> func.HttpResponse:
     logging.info('Python HTTP trigger function processed a request.')
    
     connection_string = "yourconnectionstring"
     blobName = "yourblobname"
     containerName = "yourcontainorname"
     blob = BlobClient.from_connection_string(conn_str=connection_string, container_name=containerName, blob_name=blobName)
    
     blobStream = blob.download_blob().content_as_bytes()
    
     logging.info(blobStream)
     df = pd.read_csv(io.BytesIO(blobStream), sep=';', dtype=str)
     logging.info(df)
    
     df.iloc[:,:].to_string(header=False, index=False)
    
     #Displaying output of the csv file
     logging.info(df)
    
     #Searching for column Location name as London
     result = df[df["Location"]=="London"]
        
     #Displaying it as json content
     #{"Identifier":{"1":"2070","2":"4081"},"AccessCode":{"1":"04ap67","2":"30no86"},"RecoveryCode":{"1":"lg2070","2":"cj4081"},"First name":{"1":"Laura","2":"Craig"},"Last name":{"1":"Grey","2":"Johnson"},"Department":{"1":"Depot","2":"Depot"},"Location":{"1":"London","2":"London"}}
     logging.info(result.to_json())
        
     #Returing the output as json and removing the index
     #{"columns":["Identifier","AccessCode","RecoveryCode","First name","Last name","Department","Location"],"data":[["2070","04ap67","lg2070","Laura","Grey","Depot","London"],["4081","30no86","cj4081","Craig","Johnson","Depot","London"]]}
     logging.info(result.to_json(orient='split',index=False))
        
     #Returing the output as string and removing the index and removing the index
     # 2070  04ap67  lg2070  Laura  Grey  Depot  London
     # 4081  30no86  cj4081  Craig  Johnson  Depot  London
     logging.info(result.to_string(header=False, index=False))
    
     output = result.to_string(header=False, index=False,index_names=False)
        
     return func.HttpResponse(
              output,
              status_code=200
         )

Hy vọng những điều trên sẽ giúp và bạn có thể sửa đổi mã theo nhu cầu của bạn. Xin vui lòng 'chấp nhận như câu trả lời' và ‘upvote, nếu nó có ích để nó có thể giúp những người khác trong cộng đồng tìm kiếm sự giúp đỡ về các chủ đề tương tự.
Please 'Accept as answer' and ‘Upvote’ if it helped so that it can help others in the community looking for help on similar topics.

Làm cách nào để đọc tệp CSV từ Azure Blob Storage bằng Python?

Làm thế nào để bạn truy cập lưu trữ blob từ chức năng Azure?

Làm cách nào để truy cập lưu trữ blob trong Python?

Làm cách nào để lấy dữ liệu từ lưu trữ blob?