Hướng dẫn which package of python is used for web scraping? - gói python nào được sử dụng để quét web?

Lấy sức mạnh của việc quét web trong tay bạn

Cụm từ mà chúng tôi có đủ dữ liệu, không tồn tại theo cách nói khoa học dữ liệu. Tôi chưa bao giờ gặp bất cứ ai sẵn sàng nói không để thu thập thêm dữ liệu cho dự án học máy hoặc học sâu của họ. Và thường có những tình huống khi dữ liệu bạn chỉ đơn giản là không đủ.

Đó là khi sức mạnh của việc quét web xuất hiện. Đó là một kỹ thuật mạnh mẽ mà bất kỳ nhà phân tích hoặc nhà khoa học dữ liệu nào cũng nên sở hữu và sẽ giữ bạn tốt trong ngành (và khi bạn ngồi phỏng vấn!).

Có một loạt các thư viện Python có sẵn để thực hiện quét web. Nhưng làm thế nào để bạn quyết định lựa chọn nào cho dự án cụ thể của bạn? Thư viện Python nào giữ linh hoạt nhất? Tôi sẽ đặt mục tiêu trả lời những câu hỏi này ở đây, thông qua ống kính của năm thư viện Python phổ biến để quét web mà tôi cảm thấy mọi người đam mê nên biết.

Thư viện Python để quét web

Xóa web là quá trình trích xuất dữ liệu có cấu trúc và không cấu trúc từ web với sự trợ giúp của các chương trình và xuất sang một định dạng hữu ích. Nếu bạn muốn tìm hiểu thêm về việc quét web, đây là một vài tài nguyên để giúp bạn bắt đầu:

• Giới thiệu thực hành về việc quét web trong Python: Một cách mạnh mẽ để trích xuất dữ liệu cho dự án khoa học dữ liệu của bạn
• Khóa học miễn phí - Giới thiệu về việc quét web bằng Python

Được rồi - hãy để Lừa xem các thư viện quét web trong Python!

1. Thư viện yêu cầu (HTTP cho con người)

Hãy bắt đầu với thư viện Python cơ bản nhất để cạo web. Yêu cầu cho phép chúng tôi thực hiện các yêu cầu HTML đến máy chủ của trang web để truy xuất dữ liệu trên trang của nó. Nhận nội dung HTML của một trang web là bước đầu tiên và quan trọng nhất của việc cạo web.

Yêu cầu là một thư viện Python được sử dụng để thực hiện các loại yêu cầu HTTP khác nhau như Get, Post, v.v. Vì sự đơn giản và dễ sử dụng của nó, nó đi kèm với phương châm của HTTP cho con người. is a Python library used for making various types of HTTP requests like GET, POST, etc. Because of its simplicity and ease of use, it comes with the motto of HTTP for Humans.

Tôi muốn nói đây là thư viện cơ bản nhưng cần thiết nhất để cạo web. Tuy nhiên, thư viện yêu cầu không phân tích dữ liệu HTML được truy xuất. Nếu chúng tôi muốn làm điều đó, chúng tôi yêu cầu các thư viện như LXML và Soup xinh đẹp (chúng tôi sẽ đưa chúng xuống xa hơn trong bài viết này).

Hãy cùng xem những lợi thế và nhược điểm của Thư viện Python yêu cầu.

Advantages:

• Giản dị
• Xác thực cơ bản/tiêu hóa
• Các lĩnh vực và URL quốc tế
• Yêu cầu chunk
• Hỗ trợ proxy http (s)

Disadvantages:

• Chỉ lấy nội dung tĩnh của một trang
• Có thể được sử dụng để phân tích cú pháp HTML
• Có thể xử lý các trang web được thực hiện hoàn toàn với JavaScript

Chúng tôi biết thư viện yêu cầu không thể phân tích HTML được lấy từ một trang web. Do đó, chúng tôi yêu cầu LXML, hiệu suất cao, nhanh chóng nhanh chóng, HTML chất lượng sản xuất và thư viện Python phân tích cú pháp XML.requests library cannot parse the HTML retrieved from a web page. Therefore, we require lxml, a high performance, blazingly fast, production-quality HTML, and XML parsing Python library.

Nó kết hợp tốc độ và sức mạnh của các cây phần tử với sự đơn giản của Python. Nó hoạt động tốt khi chúng tôi nhằm mục đích cạo các bộ dữ liệu lớn. Sự kết hợp giữa các yêu cầu và LXML là rất phổ biến trong việc cạo web. Nó cũng cho phép bạn trích xuất dữ liệu từ HTML bằng cách sử dụng các bộ chọn XPath và CSS.It works well when we’re aiming to scrape large datasets. The combination of requests and lxml is very common in web scraping. It also allows you to extract data from HTML using XPath and CSS selectors.

Hãy cùng xem những lợi thế và nhược điểm của thư viện LXML Python.lxml Python library.

Advantages:

• Nhanh hơn hầu hết các trình phân tích cú pháp ngoài kia
• Light-weight
• Sử dụng cây phần tử
• API Pythonic

Disadvantages:

• Không hoạt động tốt với HTML được thiết kế kém
• Tài liệu chính thức không thân thiện với người mới bắt đầu

3. Thư viện súp đẹp để cạo Web

Đẹp có lẽ là thư viện Python được sử dụng rộng rãi nhất để quét web. Nó tạo ra một cây phân tích để phân tích các tài liệu HTML và XML. Súp đẹp tự động chuyển đổi các tài liệu đến thành unicode và các tài liệu đi thành UTF-8. is perhaps the most widely used Python library for web scraping. It creates a parse tree for parsing HTML and XML documents. Beautiful Soup automatically converts incoming documents to Unicode and outgoing documents to UTF-8.

Một trong những lý do chính khiến thư viện súp đẹp rất phổ biến là việc làm việc dễ dàng hơn và phù hợp cho người mới bắt đầu. Chúng tôi cũng có thể kết hợp súp đẹp với các trình phân tích cú pháp khác như LXML. Nhưng tất cả sự dễ sử dụng này đi kèm với một chi phí - nó chậm hơn LXML. Ngay cả khi sử dụng LXML làm trình phân tích cú pháp, nó chậm hơn LXML tinh khiết.lxml. But all this ease of use comes with a cost – it is slower than lxml. Even while using lxml as a parser, it is slower than pure lxml.

Một lợi thế lớn của thư viện súp đẹp là nó hoạt động rất tốt với HTML được thiết kế kém và có rất nhiều chức năng. Sự kết hợp của súp đẹp và yêu cầu là khá phổ biến trong ngành.Beautiful Soup and Requests is quite common in the industry.

Advantages:

• Yêu cầu một vài dòng mã
• Tài liệu tuyệt vời
• Dễ học cho người mới bắt đầu
• Mạnh mẽ
• Phát hiện mã hóa tự động

Disadvantages:

• Chậm hơn LXML

Nếu bạn muốn học cách cạo các trang web bằng súp đẹp, hướng dẫn này là dành cho bạn:

• Hướng dẫn bắt đầu

4. Thư viện selen để cạo web

Có một giới hạn cho tất cả các thư viện Python mà chúng ta đã thảo luận cho đến nay - chúng ta không thể dễ dàng xóa dữ liệu từ các trang web dân cư động. Nó xảy ra bởi vì đôi khi dữ liệu có trên trang được tải qua JavaScript. Nói một cách đơn giản, nếu trang không tĩnh, thì các thư viện Python đã đề cập trước đó đấu tranh để xóa dữ liệu từ nó.

Đó là nơi mà Selenium phát huy tác dụng.

Selenium là một thư viện Python ban đầu được thực hiện để kiểm tra tự động các ứng dụng web. Mặc dù ban đầu, nó đã được tạo ra để quét web, cộng đồng khoa học dữ liệu đã xoay chuyển điều đó khá nhanh! is a Python library originally made for automated testing of web applications. Although it wasn’t made for web scraping originally, the data science community turned that around pretty quickly!

Nó là một trình điều khiển web được tạo cho các trang web kết xuất, nhưng chức năng này làm cho nó rất đặc biệt. Trường hợp các thư viện khác không có khả năng chạy JavaScript, Selenium vượt trội. Nó có thể thực hiện nhấp chuột trên một trang, điền vào các biểu mẫu, cuộn trang và làm nhiều việc hơn.

Khả năng chạy JavaScript này trong một trang web cung cấp cho Selenium sức mạnh để cạo các trang web đông dân. Nhưng có một sự đánh đổi ở đây. Nó tải và chạy JavaScript cho mỗi trang, điều này làm cho nó chậm hơn và không phù hợp cho các dự án quy mô lớn.

Nếu thời gian và tốc độ không phải là mối quan tâm đối với bạn, thì bạn chắc chắn có thể sử dụng selen.

Advantages:

• Beginner-friendly
• Tự động quét web
• Có thể cạo các trang web dân cư động
• Tự động hóa trình duyệt web
• Có thể làm bất cứ điều gì trên một trang web tương tự như một người

Disadvantages:

• Rất chậm
• Khó thiết lập
• CPU cao và sử dụng bộ nhớ
• Không lý tưởng cho các dự án lớn

Dưới đây là một bài viết tuyệt vời để tìm hiểu cách Selenium hoạt động (bao gồm cả mã Python):

• Dự án Khoa học Dữ liệu: Xóa dữ liệu YouTube bằng Python và Selenium để phân loại video

5. Scrapy

Bây giờ, thời gian để giới thiệu bạn với ông chủ của các thư viện Scraping Web Python - Scrapy!

Scrapy không chỉ là một thư viện; Nó là toàn bộ khung cào web được tạo ra bởi những người đồng sáng lập Scrapinghub-Pablo Hoffman và Shane Evans. Đó là một giải pháp cào web đầy đủ, thực hiện tất cả các công việc nặng nhọc cho bạn. is not just a library; it is an entire web scraping framework created by the co-founders of Scrapinghub – Pablo Hoffman and Shane Evans. It is a full-fledged web scraping solution that does all the heavy lifting for you.

Scrapy cung cấp các bot nhện có thể thu thập dữ liệu và trích xuất dữ liệu. Với Scrapy, bạn có thể tạo bot nhện của mình, lưu trữ chúng trên trung tâm phế liệu hoặc như một API. Nó cho phép bạn tạo ra các nhện đầy đủ chức năng trong vài phút. Bạn cũng có thể tạo đường ống bằng cách sử dụng phế liệu.You can also create pipelines using Scrapy.

Điều tốt nhất về phế liệu là nó không đồng bộ. Nó có thể thực hiện nhiều yêu cầu HTTP cùng một lúc. Điều này giúp chúng tôi tiết kiệm rất nhiều thời gian và tăng hiệu quả của chúng tôi (và tất cả chúng tôi đều cố gắng cho điều đó?). & NBSP;

Bạn cũng có thể thêm plugin vào phế liệu để tăng cường chức năng của nó. Mặc dù Scrapy không thể xử lý JavaScript như Selenium, bạn có thể ghép nó với một thư viện có tên Splash, trình duyệt web trọng lượng nhẹ. Với Splash, Scrapy thậm chí có thể trích xuất dữ liệu từ các trang web động.

Advantages:

• Không đồng bộ
• Tài liệu tuyệt vời
• Các plugin khác nhau
• Tạo các đường ống tùy chỉnh và đường giữa
• Sử dụng CPU và bộ nhớ thấp
• Kiến trúc được thiết kế tốt
• Rất nhiều tài nguyên trực tuyến có sẵn

Disadvantages:

• Đường cong học tập dốc
• Overkill cho các công việc dễ dàng
• Không thân thiện với người mới bắt đầu

Nếu bạn muốn học Scrapy, điều mà tôi khuyên bạn nên làm, bạn nên đọc hướng dẫn này:

• Web Scraping trong Python bằng cách sử dụng Scracy (với nhiều ví dụ)

Cái gì tiếp theo?

Cá nhân tôi thấy các thư viện Python này cực kỳ hữu ích cho các yêu cầu của tôi. Tôi rất thích nghe suy nghĩ của bạn về các thư viện này hoặc nếu bạn sử dụng bất kỳ thư viện Python nào khác - hãy cho tôi biết trong phần bình luận bên dưới.

Nếu bạn thích bài viết, hãy chia sẻ nó trong mạng của bạn và tiếp tục thực hành các kỹ thuật này!