Hướng dẫn python read file from request - python đọc tệp từ yêu cầu

Tôi đang cố gắng tạo một dịch vụ web bằng Python hoặc R. Dịch vụ web này sẽ có thể nhận một tệp dưới dạng đầu vào và xử lý nó. Cho đến nay tôi đã đưa ra yêu cầu API như sau trong Python:

import requests
with open('userdata.txt','rb') as payload:
    r = requests.post('https://localhost:8080/upload', data=payload, verify=False)

Tuy nhiên, tôi không chắc chắn làm thế nào để thiết lập dịch vụ web "/tải lên". Tôi có sẵn Python và/hoặc R để xử lý yêu cầu vì nó là trên một máy chủ mà tôi không thể truy cập thêm. Nhiệm vụ tổng thể là nhận tệp, tải một thuật toán học máy, phân loại văn bản bên trong tệp và trả về câu trả lời với điểm số, nếu điều đó thay đổi bất cứ điều gì.

Cảm ơn trước!

Python cung cấp các mô -đun khác nhau như urllib, yêu cầu vv để tải xuống các tệp từ web. Tôi sẽ sử dụng thư viện yêu cầu của Python để tải xuống các tệp một cách hiệu quả từ các URL.

Hãy bắt đầu xem xét thủ tục từng bước để tải xuống các tệp bằng URL bằng thư viện yêu cầu -

1. Nhập mô -đun

import requests

2. Nhận liên kết hoặc URL

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

3. Lưu nội dung với tên.

open('facebook.ico', 'wb').write(r.content)

Lưu tệp dưới dạng Facebook.ICO.

Thí dụ

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

Kết quả

Chúng ta có thể thấy tệp được tải xuống (biểu tượng) trong thư mục làm việc hiện tại của chúng tôi.

Nhưng chúng ta có thể cần tải xuống các loại tệp khác nhau như hình ảnh, văn bản, video, vv từ web. Vì vậy, trước tiên, hãy để có được loại dữ liệu mà URL đang liên kết đến−

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

Tuy nhiên, có một cách thông minh hơn, liên quan đến việc tìm kiếm các tiêu đề của một URL trước khi thực sự tải xuống nó. Điều này cho phép chúng tôi bỏ qua việc tải xuống các tệp mà người sói có nghĩa là sẽ được tải xuống.

>>> print(is_downloadable('https://www.youtube.com/watch?v=xCglV_dqFGI'))
False
>>> print(is_downloadable('https://www.facebook.com/favicon.ico'))
True

Để hạn chế tải xuống theo kích thước tệp, chúng tôi có thể lấy FileZie từ tiêu đề độ dài nội dung và sau đó thực hiện theo yêu cầu của chúng tôi.

contentLength = header.get('content-length', None)
if contentLength and contentLength > 2e8: # 200 mb approx
return False

Nhận tên tệp từ một url

Để có được tên tệp, chúng ta có thể phân tích URL. Dưới đây là một thói quen mẫu lấy chuỗi cuối cùng sau khi chao đảo (/).

url= "http://www.computersolution.tech/wp-content/uploads/2016/05/tutorialspoint-logo.png"
if url.find('/'):
print(url.rsplit('/', 1)[1]

Trên đây sẽ cung cấp tên tệp của URL. Tuy nhiên, có nhiều trường hợp thông tin tệp không có trong URL chẳng hạn - http://url.com/doad. Trong trường hợp như vậy, chúng ta cần phải có tiêu đề xử lý nội dung, chứa thông tin tên tệp.

import requests
import re

def getFilename_fromCd(cd):
"""
Get filename from content-disposition
"""
if not cd:
return None
fname = re.findall('filename=(.+)', cd)
if len(fname) == 0:
return None
return fname[0]


url = 'http://google.com/favicon.ico'
r = requests.get(url, allow_redirects=True)
filename = getFilename_fromCd(r.headers.get('content-disposition'))
open(filename, 'wb').write(r.content)

Mã phân tích URL trên kết hợp với chương trình trên sẽ cung cấp cho bạn tên tệp từ tiêu đề xử lý nội dung hầu hết thời gian.

Cập nhật vào ngày 30 tháng 3 năm 2019 22:30:26

• Câu hỏi và câu trả lời liên quan
• Tải xuống tệp bằng trình kết nối SAP .NET
• Làm thế nào các tệp được trích xuất từ ​​một tệp tar bằng Python?
• Đổi tên nhiều tệp bằng Python
• Sử dụng dịch vụ web SAP từ tệp WSDL
• Web Scraping bằng Python và Scracy?
• Python thực hiện quét web bằng LXML
• Làm thế nào để sao chép các tệp từ thư mục này sang thư mục khác bằng Python?
• Làm thế nào để sao chép các tệp từ máy chủ này sang máy chủ khác bằng Python?
• Làm thế nào để chuyển đổi các tệp PDF sang các tệp Excel bằng Python?
• Làm thế nào để sao chép một số tệp nhất định từ thư mục này sang thư mục khác bằng Python?
• Thực hiện quét web bằng LXML trong Python?
• HTML5 có cho phép bạn tương tác với các tệp máy khách cục bộ từ trong trình duyệt web không?
• Tạo các tệp và thư mục tạm thời bằng cách sử dụng Python
• Làm thế nào để xóa các tệp hoán đổi bằng Python?
• Cách tạo các tệp PowerPoint bằng Python

Giới thiệu

Python được hỗ trợ bởi nhiều thư viện giúp đơn giản hóa việc truyền dữ liệu qua HTTP. Thư viện

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Trong hướng dẫn này, chúng tôi sẽ xem xét cách tải lên các tệp bằng thư viện

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Tải lên một tệp duy nhất với thư viện yêu cầu của Python

Hướng dẫn này bao gồm cách gửi các tệp, chúng tôi không quan tâm đến cách chúng được tạo. Để làm theo, tạo ba tệp được gọi là

open('facebook.ico', 'wb').write(r.content)

open('facebook.ico', 'wb').write(r.content)

open('facebook.ico', 'wb').write(r.content)

Điều đầu tiên chúng tôi cần làm là cài đặt thư viện

open('facebook.ico', 'wb').write(r.content)

import requests

Kích hoạt môi trường ảo để chúng ta không còn tác động đến việc cài đặt Python toàn cầu:

import requests

Bây giờ chúng ta hãy cài đặt thư viện

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

import requests

Tạo một tệp mới có tên

open('facebook.ico', 'wb').write(r.content)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

import requests

Bây giờ chúng tôi đã thiết lập để tải lên một tập tin! Khi tải lên một tệp, chúng ta cần mở tệp và truyền phát nội dung. Rốt cuộc, chúng tôi không thể tải lên một tệp mà chúng tôi không có quyền truy cập. Chúng tôi sẽ làm điều này với chức năng

open('facebook.ico', 'wb').write(r.content)

Hàm

open('facebook.ico', 'wb').write(r.content)

Đối số thứ hai, chế độ, sẽ lấy giá trị "đọc nhị phân" được biểu thị bằng

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

import requests

Lưu ý: Điều quan trọng là phải đọc tệp ở chế độ nhị phân. Thư viện

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

Đối với hướng dẫn này, chúng tôi sẽ thực hiện các yêu cầu cho dịch vụ HTTPBIN miễn phí. API này cho phép các nhà phát triển kiểm tra các yêu cầu HTTP của họ. Hãy tạo một biến lưu trữ URL, chúng tôi sẽ đăng các tệp của chúng tôi lên:

import requests

Bây giờ chúng tôi có mọi thứ để đưa ra yêu cầu. Chúng tôi sẽ sử dụng phương thức

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

import requests

Tài sản

import requests


url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

open('facebook.ico', 'wb').write(r.content)

Thông thường để kiểm tra xem phương thức

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

Kiểm tra hướng dẫn thực hành của chúng tôi, thực tế để học Git, với các thực hành tốt nhất, các tiêu chuẩn được công nghiệp chấp nhận và bao gồm bảng gian lận. Ngừng các lệnh git googling và thực sự tìm hiểu nó!

import requests

Hãy thử nó! Trong thiết bị đầu cuối, thực thi tập lệnh của bạn bằng lệnh

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

import requests

Đầu ra của bạn sẽ tương tự như thế này:

import requests

Khi kiểm tra Sanity, bạn có thể xác minh giá trị

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

Tải lên nhiều tệp với thư viện yêu cầu của Python

Tải lên nhiều tệp bằng cách sử dụng các yêu cầu khá giống với một tệp duy nhất, với sự khác biệt chính là việc chúng tôi sử dụng danh sách. Tạo một tệp mới có tên

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Bây giờ, hãy tạo một biến có tên là

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Giống như trước đây, các khóa là tên của các trường biểu mẫu và các giá trị là các tệp trong byte.

Chúng tôi cũng có thể tạo các biến tệp của chúng tôi như một danh sách các bộ dữ liệu. Mỗi tuple chứa tên của trường biểu mẫu Chấp nhận tệp, theo sau là nội dung của tệp trong byte:

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Hoặc là hoạt động nên chọn bất cứ thứ gì bạn thích!

Khi danh sách các tệp đã sẵn sàng, bạn có thể gửi yêu cầu và kiểm tra phản hồi của nó như trước:

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Thực hiện tập lệnh này bằng lệnh

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Bạn sẽ thấy đầu ra này:

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Làm tốt lắm! Bạn có thể tải lên một và nhiều tệp với

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Sự kết luận

Trong bài viết này, chúng tôi đã học cách tải lên các tệp trong Python bằng thư viện

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

Làm thế nào để bạn đọc một tập tin trong Python?

Làm cách nào để tải xuống một tệp với các yêu cầu?

Làm cách nào để mở một tệp với Open in Python?

Làm thế nào để bạn gửi một yêu cầu tệp trong Python?