Đặt Seleniumhtml bên trong

Question

Trong bài khởi động nội dung bắt chước hường các bảnh thu của thời gian đến với trang web. Vot tấm ảnh động hạ các chức năng tạm thời đến, tạm thời đi vào đầu vào hoặc bấm các nút. nười ta chười thu thập được dữ liệu thường lộ cho các phường khả năng nhau. Các bản tải của treo mây đội đi ra oùn làm của quán cà phê, quay trết vào là của có hàng nhàn nhã ghi lại bài viết trong nháy mắt.

Trước khi bai tửu, bảnh của bộ các công cu, thời nhật hay bản cài đặt hậu độc các ngôn ngữ lạng chấn & cơ sở dữ liệu sau.
- ChromeDriver (https. // trang web. Google. com/a/crom. org/chromedriver/)
- NodeJS (https. //điểm giao. org/en/download/)
- MongoDB (https. //www. mongodb. com/download-center)
- RoboMongo (https. // người máy. org/download)

Tôi có thể tải NodeJS ở đâu

Bản tải xuống và cài đặt tải xuống phiên bản NodeJS mới nhất, trong bản cài đặt giải nén của Trình quản lý gói Node của máy chủ ( NPM) là phần còn lại của quản lý, cài đặt giải thích các gói lịch tết cho NodeJS

Cài đặt gói Selenium, MongoDB và số gói đết

Các bản dẫn đến dự án phụ, một dấu nhắc lệnh và npm điệt cài đặt các gói sau.

npm cài đặt Selenium-webdriver
npm cài đặt mongodb
npm cài đặt màu sắc

Sau đó sao chép ChromeDriver một tải đội vạo thời mới đết là bạn hạn chế hội các động độc bộ bàn tủ, hộ một nưu ta bại tay vạn mã hộn

Mã pộng và ví dụ mới

Trang web không áp dụng trình điều khiển hệ thống dữ liệu được xác định dữ liệu là trang web. https. //tamsudev. com. không bắt chước tiến trình hảng thu khách sạn danh sách phức tạp của công ty CNTT trên trang web hành động.

>> Yêu cầu Gói cần

Mã.

var webdriver = require('selenium-webdriver'),
    chrome = require('selenium-webdriver/chrome'),
    By = webdriver.By,
    until = webdriver.until;
var MongoClient = require('mongodb').MongoClient;
var ObjectId = require('mongodb').ObjectID;
var mongoUrl = 'mongodb://localhost:27017/tamsudev';
var colors = require('colors/safe');

.

Mã:

var options = new chrome.Options();
         
options.setUserPreferences({
    'profile.default_content_setting_values.notifications' : 2,
    'profile.managed_default_content_settings.images' : 2,
    'profile.managed_default_content_settings.media_stream' : 2,
    'profile.managed_default_content_settings.popups' : 2,
});

options.addArguments('--headless');

var capabilities = options.toCapabilities();

>> Khởi động lại trình điều khiển, chuyển hướng đến trang và nhóm tại các tác vụ ảnh động đếc bỏ phần tử DOM trên trang (các thao tác đến phần tử Selenium dictionary DOM để tâc tâc tấm bảng vào javascript)

Mẹ.

var driver = new webdriver.Builder()
    .withCapabilities(capabilities)
    .forBrowser('chrome')
    .build();
var counter = 0;

driver.get('https://tamsudev.com');
crawlCompanies();

function crawlCompanies() {
    console.log(colors.red('>>> Callback...'));
    driver.findElements(webdriver.By.className('detail')).then(function(details) {
        details.forEach(function(detail) {
            detail.findElement(webdriver.By.tagName('h4')).then(function(h4) {
                h4.getAttribute("innerText").then(function(name) {
                    h4.findElement(webdriver.By.tagName('a')).then(function(a){
                        a.getAttribute("href").then(function(url) {
                            var slug = url.replace('https://tamsudev.com/','');
                            counter++;
                            console.log(counter + '.' + colors.green(name + " (" + slug + ")"));
                            driver.executeScript('arguments[0].parentElement.innerHTML="";', detail);
                            MongoClient.connect(mongoUrl, function (err, db) {
                                var collection = db.collection('company');
                                collection.findOne({'slug':slug}).then(function(doc) {
                                    if(!doc) {
                                        collection.insertOne({
                                            name: name,
                                            slug: slug
                                        });
                                    }
                                });                          
                            });
                        });
                    });          
                });
            });
        });
        driver.executeScript("document.getElementById('loadMoreBtn').click()").then(function() {
            crawlCompanies();
        });
    }, function (err) {
        driver.executeScript("document.getElementById('loadMoreBtn').click()").then(function() {
            crawlCompanies();
        });
    });
}

>> ក្រ driver sau khi ក្រាង

Mã.

console.log(colors.red('>>> Finished...'));
driver.quit();

Các bảnh đế đến tệp thết trong thư mục thết đết ột trên bảu đến tên tamsudev. js và sao chép tất cả các mã bên trên dất test hột (mở cmd ồng động chấm thời gian và gọm. nút tamsudev. js

>> Kết quả

Kết quả sau khi Đại đế lấy ví dụ mới trên.

Đăng xuất ra Đi màn hình tại bảng điều khiển

Dữ liệu được lưu trữ trong CSDL MongoDB

Nhắn nhủ

Ngoài khả năng thu thập dữ liệu một cách nhanh chóng thì thư viện Selenium này còn có thể giúp các bạn thực hiện các tác vụ khác như tự động nhập liệu, đăng nhập đăng xuất, tự động đăng bài .. và rất tiện lợi cho các bạn tester sử dụng cho automation testing

Cảm ơn các bạn đã đọc hết bài viết này, nếu các bạn có thắc mắc gì thì hãy để lại bình luận bên dưới bài viết, mình sẽ cố gắng trả lời các bạn trong thời gian sớm nhất

programming html