điểm. 0
Bạn đã đặt biến khớp với nguồn trang nhưng chưa sử dụng nó
match = browser.page_source if "deactivateOdd" in match: #do something else: #do something elseTôi khá chắc chắn rằng đây là lý do khiến các yếu tố của bạn không hiển thị
Phần này sẽ làm nổi bật hai trường hợp sử dụng để chứng minh việc sử dụng các phương pháp find_elements_by khác nhau. Thông thường, chúng tôi muốn cạo dữ liệu từ các bảng hoặc văn bản bài viết. Do đó, hai bản trình diễn bao gồm các trường hợp sử dụng này
Hãy để chúng tôi kiểm tra trang web trực tiếp này của một bài báo trực tuyến. Bài viết trên trang này có nhiều tiểu mục, mỗi tiểu mục có nhiều đoạn văn và thậm chí có cả gạch đầu dòng. Giả sử rằng chúng tôi muốn cạo toàn bộ văn bản của bài báo. Một cách thú vị để làm điều đó là cạo tất cả các tiểu mục riêng biệt trước và sau đó nối chúng lại với nhau. Ưu điểm của cách làm này là chúng ta cũng có thể lấy văn bản của từng tiểu mục
Hãy để chúng tôi Inspect trang web này. Hãy để chúng tôi di chuyển con trỏ đến phần tử DOM xác định khu vực nội dung bài viết. Dưới chỗ này
phần tử, chúng ta có thể thấy rằng các tiêu đề tiểu mục có tất cả các tên thẻ bắt đầu bằng "h", các đoạn văn có một
tên thẻ và các phần dấu đầu dòng có
- tên thẻ. Các phần tử có các tên thẻ này đều song song với nhau, thay vì được nhúng trong cấu trúc phân cấp. Thiết kế này quy định rằng chúng ta không nên viết một vòng lặp trong tập lệnh của mình để truy cập chúng, chẳng hạn như để truy cập từng đoạn trong tiểu mục. Một điểm khác cần lưu ý là ở đây chúng tôi sử dụng từ điển Python để lưu trữ văn bản của từng tiểu mục. Đối với mỗi cặp khóa-giá trị trong từ điển này, khóa lưu trữ tiêu đề tiểu mục và giá trị lưu trữ các đoạn văn bản của nó. Vì vậy, đây là một cấu trúc dữ liệu thuận tiện để sử dụng cho trường hợp sử dụng này. Chương trình sau đây thực hiện chiến lược của chúng tôi ở trên để cạo toàn bộ văn bản của bài báo
- Số hàng và cột của bảng web trong Selenium
- Dữ liệu của hàng X hoặc cột Y
- Ở đây, trước tiên chúng ta đã khai báo đối tượng Webdriver “wd” và khởi tạo nó thành trình điều khiển chrome
- We use List to total number of columns in “col”.
- lệnh findElements trả về danh sách TẤT CẢ các phần tử khớp với bộ định vị đã chỉ định
- sử dụng findElements và X-path //*[@id=\”leftcontainer\”]/table/thead/tr/th chúng tôi nhận được tất cả các cột
- Tương tự, chúng tôi lặp lại quy trình cho các hàng
# same as the set up chunk of code ... journalAddress = "//www.federalregister.gov/documents/2013/09/24/2013-21228/affirmative-action-and-nondiscrimination-obligations-of-contractors-and-subcontractors-regarding" # same as the set up chunk of code ... time.sleep(2) articleObjects = driver.find_elements_by_xpath('//div[@id="fulltext_content_area"]/*') articleDictionary = dict() myKey = "" myValue_total = ""
Chương trình trên đã đặt tất cả các phần tử web liên quan đến nội dung bài báo vào một danh sách gọi là “articleObjects”. Vì tất cả các phần tử web này song song với nhau chứ không phải trong một cấu trúc lồng nhau, nên chúng ta chỉ cần sử dụng một cấp độ của vòng lặp for để lặp từng phần tử web trong danh sách và đưa nội dung của nó vào đúng vị trí trong từ điển mà chúng ta đã tạo như . Nếu tên thẻ của một thành phần web trong danh sách bắt đầu bằng “h”, thì nội dung của nó phải là tiêu đề tiểu mục. Chúng tôi cạo nội dung của nó thành một biến chuỗi “myKey”. Nếu tên thẻ của một phần tử web trong danh sách bắt đầu bằng “p” hoặc “ul”, thì nội dung của nó phải là một đoạn văn hoặc một tập hợp các dấu đầu dòng bên dưới tiêu đề tiểu mục đó. Chúng tôi cạo nội dung của nó và nối nó vào một biến chuỗi “myValue_total”. Khi chúng ta gặp tiêu đề tiểu mục tiếp theo, chương trình phải nối thêm tất cả các đoạn văn và dấu đầu dòng bên dưới tiêu đề tiểu mục hiện tại và lưu chúng vào một chuỗi “myValue_total”. Tại thời điểm này, chúng tôi nhập cặp khóa-giá trị - tiêu đề tiểu mục hiện tại làm khóa và tất cả các đoạn văn và dấu đầu dòng bên dưới tiêu đề tiểu mục này làm giá trị của nó - vào từ điển. Sau đó, chúng tôi thay thế khóa là tiêu đề tiểu mục hiện tại bằng tiêu đề tiểu mục tiếp theo và lặp lại các bước trên
for i in range(len(articleObjects)): tagName = articleObjects[i].tag_name if tagName.startswith("h"): if myKey: articleDictionary[myKey] = myValue_total myKey = "" myValue_total = "" myKey = articleObjects[i].get_attribute("innerText") if tagName.startswith("p"): myValue = articleObjects[i].get_attribute("innerText") myValue_total = myValue_total + myValue if tagName.startswith("ul"): myBullets = articleObjects[i].find_elements_by_tag_name('li') for j in range(len(myBullets)): myBullet = myBullets[j].get_attribute("innerText") myValue_total = myValue_total + myBullet driver.close()
Sau khi hoàn thành vòng lặp, chúng tôi đã loại bỏ tất cả các phần phụ một cách riêng biệt và lưu trữ chúng vào một từ điển. Cuối cùng, chúng ta chỉ cần lặp từng cặp khóa-giá trị trên từ điển này và nối nội dung của chúng lại với nhau khi chúng ta lặp qua từ điển
Dưới đây là một ví dụ về bảng web động trong Selenium for Sales. Dựa trên các bộ lọc ngày đầu vào, số lượng hàng sẽ bị thay đổi. Vì vậy, nó là năng động trong tự nhiên
Xử lý bảng tĩnh thì dễ, nhưng xử lý bảng động trong Selenium hơi khó vì hàng và cột không cố định
Mục lục
Sử dụng X-Path để định vị các thành phần bảng web
Trước khi chúng tôi xác định vị trí phần tử web, trước tiên hãy hiểu-
Phần tử web là gì?
Các phần tử web không là gì ngoài các phần tử HTML như hộp văn bản, nút radio thả xuống, nút gửi, v.v. Các phần tử HTML này được viết bằng thẻ bắt đầu và kết thúc bằng thẻ kết thúc
Ví dụ,
Tài liệu HTML đầu tiên của tôi
Các bước để lấy đường dẫn X của phần tử web mà chúng tôi muốn xác định vị trí
Bước 1) Trong Chrome, Truy cập http. //thử nghiệm. gu99. com/test/web-table-element. php
Bước 2) Nhấp chuột phải vào phần tử web có đường dẫn x sẽ được tìm nạp. Trong trường hợp của chúng tôi, nhấp chuột phải vào “Công ty” Chọn tùy chọn Kiểm tra. Màn hình sau sẽ được hiển thị -
Bước 3) Nhấp chuột phải vào webelement được tô sáng > Chọn Sao chép -> Tùy chọn Sao chép xpath
Bước 4) Sử dụng Xpath “//*[@id=”left container”]/table/thead/tr/th [1]” đã sao chép trong Selenium WebDriver để định vị phần tử
Ví dụ. Tìm nạp số lượng hàng và cột từ Dynamic WebTable
Trong khi xử lý bảng web động trong Selenium, chúng tôi không thể dự đoán số lượng hàng và cột của nó
Sử dụng trình điều khiển web Selenium, chúng ta có thể tìm thấy
Dưới đây là chương trình tìm nạp tổng số hàng và cột để xử lý bảng web trong Selenium
Giải thích mã
đầu ra
Ví dụ. Tìm nạp giá trị ô của một hàng và cột cụ thể của Bảng động
Giả sử chúng ta cần hàng thứ 3 của bảng và dữ liệu của ô thứ hai. Xem bảng bên dưới-
Trong bảng trên, dữ liệu được cập nhật thường xuyên sau một khoảng thời gian. Dữ liệu bạn thử truy xuất sẽ khác với ảnh chụp màn hình ở trên. Tuy nhiên, mã vẫn giữ nguyên. Đây là chương trình mẫu để lấy dữ liệu của hàng thứ 3 và cột thứ 2