Python ThreadPoolExecutor cho phép bạn tạo và quản lý các nhóm luồng trong Python.Python ThreadPoolExecutor allows you to create and manage thread pools in Python. Show
Mặc dù ThreadPoolExecutor đã có sẵn từ Python 3.2, nhưng nó không được sử dụng rộng rãi, có lẽ vì những hiểu lầm về khả năng và hạn chế của các chủ đề trong Python.ThreadPoolExecutor has been available since Python 3.2, it is not widely used, perhaps because of misunderstandings of the capabilities and limitations of Threads in Python. Hướng dẫn này cung cấp một đánh giá chi tiết và toàn diện về ThreadPoolExecutor trong Python, bao gồm cách thức hoạt động, cách sử dụng nó, các câu hỏi phổ biến và thực tiễn tốt nhất.ThreadPoolExecutor in Python, including how it works, how to use it, common questions, and best practices. Đây là một hướng dẫn lớn hơn 23.000 từ. Bạn có thể muốn đánh dấu nó để bạn có thể tham khảo nó khi bạn phát triển các chương trình đồng thời của mình. Hãy để lặn trong.
Chủ đề Python và nhu cầu về các nhóm chủ đềVì vậy, các chủ đề là gì và tại sao chúng ta quan tâm đến nhóm chủ đề? Chủ đề Python là gìMột chủ đề đề cập đến một chủ đề thực thi bởi một chương trình máy tính. Mỗi chương trình Python là một quá trình với một luồng được gọi là luồng chính được sử dụng để thực hiện các hướng dẫn chương trình của bạn. Trên thực tế, mỗi quá trình là một trường hợp của trình thông dịch Python thực thi các hướng dẫn Python (mã byte Python), mức thấp hơn một chút so với mã bạn nhập vào chương trình Python của bạn. Đôi khi, chúng ta có thể cần tạo các luồng bổ sung trong quy trình Python của chúng ta để thực hiện đồng thời các nhiệm vụ. Python cung cấp các luồng ngây thơ (cấp độ hệ thống) thực sự thông qua lớp luồng.threading.Thread class. Một tác vụ có thể được chạy trong một luồng mới bằng cách tạo một thể hiện của lớp luồng và chỉ định hàm để chạy trong luồng mới thông qua đối số đích.Thread class and specifying the function to run in the new thread via the target argument.
Khi luồng được tạo, nó phải được bắt đầu bằng cách gọi hàm start ().start() function.
Sau đó, chúng ta có thể đợi xung quanh để hoàn thành nhiệm vụ bằng cách tham gia chủ đề; Ví dụ
Chúng ta có thể chứng minh điều này với một ví dụ hoàn chỉnh với một nhiệm vụ ngủ một lúc và in một tin nhắn. Ví dụ hoàn chỉnh về việc thực hiện chức năng tác vụ đích trong một luồng riêng biệt được liệt kê bên dưới.
Chúng ta có thể chứng minh điều này với một ví dụ hoàn chỉnh với một nhiệm vụ ngủ một lúc và in một tin nhắn.task() function. Ví dụ hoàn chỉnh về việc thực hiện chức năng tác vụ đích trong một luồng riêng biệt được liệt kê bên dưới.task() function is executed in another thread. The task sleeps for a moment; meanwhile, in the main thread, a message is printed that we are waiting around and the main thread joins the new thread. # SuperfastPython.com
từ luồng nhập luồng
nhiệm vụ def (): & nbsp; & nbsp; & nbsp; & nbsp;# block trong giây lát & nbsp; & nbsp; & nbsp; & nbsp;# hiển thị một thông báo & nbsp; & nbsp; & nbsp; & nbsp; in ('Điều này đến từ một chủ đề khác') # Tạo và định cấu hình một luồng mới để chạy chức năng# Bắt đầu tác vụ trong một luồng mới # Hiển thị tin nhắn
Chủ đề được bắt đầu và hàm Task () được thực thi trong một luồng khác. Nhiệm vụ ngủ một lúc; Trong khi đó, trong chuỗi chính, một tin nhắn được in rằng chúng tôi đang chờ xung quanh và luồng chính tham gia vào luồng mới. Cuối cùng, chủ đề mới kết thúc ngủ, in một tin nhắn và đóng. Chủ đề chính sau đó tiếp tục và cũng đóng lại vì không có thêm hướng dẫn để thực hiện. Đang chờ chủ đề mới kết thúc ... Điều này đến từ một chủ đề khác Bạn có thể tìm hiểu thêm về các chủ đề Python trong hướng dẫn: Chủ đề trong Python: Hướng dẫn hoàn chỉnh Điều này rất hữu ích để chạy các tác vụ ad hoc một lần trong một luồng riêng biệt, mặc dù nó trở nên cồng kềnh khi bạn có nhiều tác vụ để chạy.ThreadPoolExecutor class. Mỗi luồng được tạo đòi hỏi phải áp dụng các tài nguyên (ví dụ: bộ nhớ cho không gian ngăn xếp của luồng). Các chi phí tính toán để thiết lập các chủ đề có thể trở nên đắt đỏ nếu chúng ta đang tạo và phá hủy nhiều luồng nhiều lần cho các nhiệm vụ ad hoc.Thay vào đó, chúng tôi muốn giữ các chủ đề công nhân xung quanh để tái sử dụng nếu chúng tôi dự kiến sẽ chạy nhiều nhiệm vụ ad hoc trong suốt chương trình của chúng tôi.ThreadPoolExecutor Python class is used to create and manage thread pools and is provided in the concurrent.futures module. Điều này có thể đạt được bằng cách sử dụng một nhóm chủ đề. Nhóm chủ đề là gìThreadPoolExecutor class directly via thread.py. It may be interesting to dig into how the class works internally, perhaps after you are familiar with how it works from the outside. Nhóm chủ đề là một mẫu lập trình để tự động quản lý một nhóm các chủ đề công nhân.ThreadPoolExecutor extends the Executor class and will return Future objects when it is called.
Hãy cùng xem xét kỹ hơn về người thực thi, tương lai và vòng đời của việc sử dụng lớp ThreadPoolExecutor.Executors, Futures, and the lifecycle of using the ThreadPoolExecutor class. Người thực thi là gìLớp ThreadPoolExecutor mở rộng lớp thực thi trừu tượng.ThreadPoolExecutor class extends the abstract Executor class. Lớp thực thi xác định ba phương thức được sử dụng để kiểm soát nhóm luồng của chúng tôi; Chúng là: Gửi (), Map () và Shutdown ().Executor class defines three methods used to control our thread pool; they are: submit(), map(), and shutdown().
Người thực thi được bắt đầu khi lớp được tạo và phải tắt rõ ràng bằng cách gọi Shutdown (), sẽ phát hành bất kỳ tài nguyên nào do người thực thi nắm giữ. Chúng tôi cũng có thể tự động tắt, nhưng chúng tôi sẽ xem xét điều đó một chút sau.Executor is started when the class is created and must be shut down explicitly by calling shutdown(), which will release any resources held by the Executor. We can also shut down automatically, but we will look at that a little later. Các hàm Sublices () và MAP () được sử dụng để gửi các tác vụ cho người thực thi để thực thi không đồng bộ.submit() and map() functions are used to submit tasks to the Executor for asynchronous execution. Hàm bản đồ () hoạt động giống như hàm Bản đồ tích hợp () và được sử dụng để áp dụng hàm cho từng phần tử trong một đối tượng có thể lặp lại, giống như một danh sách. Không giống như hàm Bản đồ tích hợp (), mỗi ứng dụng của hàm cho một phần tử sẽ xảy ra không đồng bộ thay vì tuần tự.map() function operates just like the built-in map() function and is used to apply a function to each element in an iterable object, like a list. Unlike the built-in map() function, each application of the function to an element will happen asynchronously instead of sequentially. Hàm Substem () có hàm, cũng như bất kỳ đối số nào và sẽ thực thi không đồng bộ, mặc dù cuộc gọi trả về ngay lập tức và cung cấp một đối tượng trong tương lai.submit() function takes a function, as well as any arguments, and will execute it asynchronously, although the call returns immediately and provides a Future object. Chúng tôi sẽ xem xét kỹ hơn về mỗi ba chức năng này trong một khoảnh khắc. Thứ nhất, một tương lai là gì? Tương lai là gìMột tương lai là một đối tượng đại diện cho một kết quả bị trì hoãn cho một nhiệm vụ không đồng bộ. Nó cũng đôi khi được gọi là một lời hứa hoặc một sự chậm trễ. Nó cung cấp một bối cảnh cho kết quả của một nhiệm vụ có thể hoặc không thể thực hiện và một cách để có được kết quả một khi nó có sẵn. Trong Python, đối tượng trong tương lai được trả về từ một người thực thi, chẳng hạn như một ThreadPoolExecutor khi gọi hàm SOUND () để gửi một nhiệm vụ để được thực thi không đồng bộ.Future object is returned from an Executor, such as a ThreadPoolExecutor when calling the submit() function to dispatch a task to be executed asynchronously. Nói chung, chúng tôi không tạo ra các đối tượng trong tương lai; Chúng tôi chỉ nhận được chúng và chúng tôi có thể cần gọi các chức năng trên chúng.Future objects; we only receive them and we may need to call functions on them. Luôn luôn có một đối tượng trong tương lai cho mỗi tác vụ được gửi vào ThreadPoolExecutor thông qua một cuộc gọi để gửi ().Future object for each task sent into the ThreadPoolExecutor via a call to submit(). Đối tượng trong tương lai cung cấp một số chức năng hữu ích để kiểm tra trạng thái của nhiệm vụ như: hủy (), Running () và Done () để xác định xem nhiệm vụ có bị hủy hay không, hiện đang chạy hoặc thực hiện xong.cancelled(), running(), and done() to determine if the task was cancelled, is currently running, or has finished execution.
Một nhiệm vụ đang chạy không thể bị hủy và một nhiệm vụ được thực hiện có thể đã bị hủy. Một đối tượng trong tương lai cũng cung cấp quyền truy cập vào kết quả của tác vụ thông qua hàm kết quả (). Nếu một ngoại lệ được nêu ra trong khi thực hiện tác vụ, nó sẽ được nêu lại khi gọi hàm kết quả () hoặc có thể được truy cập thông qua hàm Exception ().Future object also provides access to the result of the task via the result() function. If an exception was raised while executing the task, it will be re-raised when calling the result() function or can be accessed via the exception() function.
Cả hai hàm kết quả () và ngoại lệ () đều cho phép thời gian chờ được chỉ định làm đối số, đó là số giây để chờ giá trị trả về nếu tác vụ chưa hoàn thành. Nếu thời gian chờ hết hạn, thì một thời gian sẽ được nâng lên.result() and exception() functions allow a timeout to be specified as an argument, which is the number of seconds to wait for a return value if the task is not yet complete. If the timeout expires, then a TimeoutError will be raised. Cuối cùng, chúng tôi có thể muốn có nhóm luồng tự động gọi một chức năng sau khi hoàn thành nhiệm vụ. Điều này có thể đạt được bằng cách gắn một cuộc gọi lại vào đối tượng tương lai cho tác vụ thông qua hàm add_done_callback ().Future object for the task via the add_done_callback() function.
Chúng tôi có thể thêm nhiều cuộc gọi lại cho mỗi nhiệm vụ và chúng sẽ được thực thi theo thứ tự chúng được thêm vào. Nếu tác vụ đã hoàn thành trước khi chúng tôi thêm cuộc gọi lại, thì cuộc gọi lại được thực thi ngay lập tức. Bất kỳ trường hợp ngoại lệ nào được nêu trong hàm gọi lại sẽ không ảnh hưởng đến nhóm nhiệm vụ hoặc nhóm luồng. Chúng ta sẽ xem xét kỹ hơn đối tượng trong tương lai trong phần sau.Future object in a later section. Bây giờ chúng tôi đã quen thuộc với chức năng của một ThreadPoolExecutor do lớp thực thi cung cấp và của các đối tượng trong tương lai được trả về bằng cách gọi gửi (), hãy để xem xét kỹ hơn về vòng đời của lớp ThreadPoolExecutor.ThreadPoolExecutor provided by the Executor class and of Future objects returned by calling submit(), let’s take a closer look at the lifecycle of the ThreadPoolExecutor class. Bị nhầm lẫn bởi API lớp ThreadPoolExecutor? Tải xuống bảng cheat pdf miễn phí của tôi Vòng đời của ThreadPoolExecutorThreadPoolExecutor cung cấp một nhóm các chủ đề công nhân chung.ThreadPoolExecutor provides a pool of generic worker threads. ThreadPoolExecutor được thiết kế để dễ dàng và đơn giản để sử dụng.ThreadPoolExecutor was designed to be easy and straightforward to use. Nếu đa luồng giống như việc truyền các bánh răng thay đổi trong xe, thì sử dụng luồng. Chủ đề là một hộp số thủ công (ví dụ: khó học và sử dụng) trong khi đồng thời.concurrency.futures.ThreadPoolExecutor is an automatic transmission (e.g. easy to learn and use).
Có bốn bước chính trong vòng đời của việc sử dụng lớp ThreadPoolExecutor; Họ là: Tạo, gửi, chờ đợi và tắt máy.
Hình dưới đây giúp hình dung vòng đời của lớp ThreadPoolExecutor.  Hãy cùng xem xét kỹ hơn về từng bước vòng đời. Bước 1. Tạo nhóm chủ đềĐầu tiên, một thể hiện ThreadPoolExecutor phải được tạo.ThreadPoolExecutor instance must be created. Khi một thể hiện của một ThreadPoolExecutor được tạo, nó phải được cấu hình với số lượng luồng cố định trong nhóm, tiền tố được sử dụng khi đặt tên cho từng luồng trong nhóm và tên của một hàm để gọi khi khởi tạo từng luồng cùng với bất kỳ đối số nào cho chức năng.ThreadPoolExecutor is created, it must be configured with the fixed number of threads in the pool, a prefix used when naming each thread in the pool, and the name of a function to call when initializing each thread along with any arguments for the function. Nhóm được tạo với một luồng cho mỗi CPU trong hệ thống của bạn cộng với bốn. Điều này là tốt cho hầu hết các mục đích.
Ví dụ: nếu bạn có 4 CPU, mỗi CPU, mỗi CPU hiện đại (hầu hết các CPU hiện đại đều có điều này), thì Python sẽ thấy 8 CPU và sẽ phân bổ (8 + 4) hoặc 12 luồng cho nhóm theo mặc định.
Bạn nên kiểm tra ứng dụng của bạn để xác định số lượng luồng dẫn đến hiệu suất tốt nhất, bất cứ nơi nào từ một vài luồng đến hàng trăm luồng. Thông thường không phải là một ý tưởng tốt để có hàng ngàn luồng vì nó có thể bắt đầu tác động đến lượng RAM có sẵn và dẫn đến một lượng lớn chuyển đổi giữa các luồng, điều này có thể dẫn đến hiệu suất tồi tệ hơn. Cũng thảo luận về việc điều chỉnh số lượng chủ đề cho nhóm của bạn sau này nhiều hơn. Bạn có thể chỉ định số lượng luồng để tạo trong nhóm thông qua đối số MAX_Workers; Ví dụ:
Bạn nên kiểm tra ứng dụng của bạn để xác định số lượng luồng dẫn đến hiệu suất tốt nhất, bất cứ nơi nào từ một vài luồng đến hàng trăm luồng.Thông thường không phải là một ý tưởng tốt để có hàng ngàn luồng vì nó có thể bắt đầu tác động đến lượng RAM có sẵn và dẫn đến một lượng lớn chuyển đổi giữa các luồng, điều này có thể dẫn đến hiệu suất tồi tệ hơn. Cũng thảo luận về việc điều chỉnh số lượng chủ đề cho nhóm của bạn sau này nhiều hơn. Bạn có thể chỉ định số lượng luồng để tạo trong nhóm thông qua đối số MAX_Workers; Ví dụ:# Tạo một nhóm chủ đề với 10 luồng công nhânmap() function is an asynchronous version of the built-in map() function for applying a function to each element in an iterable, like a list. Bước 2. Gửi nhiệm vụ đến nhóm chủ đề Khi nhóm luồng đã được tạo, bạn có thể gửi các tác vụ để thực thi không đồng bộ.map() when converting a for loop to run using one thread per loop iteration.
Thông thường không phải là một ý tưởng tốt để có hàng ngàn luồng vì nó có thể bắt đầu tác động đến lượng RAM có sẵn và dẫn đến một lượng lớn chuyển đổi giữa các luồng, điều này có thể dẫn đến hiệu suất tồi tệ hơn.my_task” is your function that you wish to execute and “my_items” is your iterable of objects, each to be executed by your “my_task” function. Cũng thảo luận về việc điều chỉnh số lượng chủ đề cho nhóm của bạn sau này nhiều hơn. Bạn có thể chỉ định số lượng luồng để tạo trong nhóm thông qua đối số MAX_Workers; Ví dụ:map() function will return an iterable immediately. This iterable can be used to access the results from the target task function as they are available in the order that the tasks were submitted (e.g. order of the iterable you provided).
Thông thường không phải là một ý tưởng tốt để có hàng ngàn luồng vì nó có thể bắt đầu tác động đến lượng RAM có sẵn và dẫn đến một lượng lớn chuyển đổi giữa các luồng, điều này có thể dẫn đến hiệu suất tồi tệ hơn.map() via the “timeout” argument in seconds if you wish to impose a limit on how long you’re willing to wait for each task to complete as you’re iterating, after which a TimeOut error will be raised.
Cũng thảo luận về việc điều chỉnh số lượng chủ đề cho nhóm của bạn sau này nhiều hơn.Bạn có thể chỉ định số lượng luồng để tạo trong nhóm thông qua đối số MAX_Workers; Ví dụ:submit() function submits one task to the thread pool for execution. # Tạo một nhóm chủ đề với 10 luồng công nhânFuture object immediately. Bước 2. Gửi nhiệm vụ đến nhóm chủ đềFuture object is a promise to return the results from the task (if any) and provides a way to determine if a specific task has been completed or not.
Thông thường không phải là một ý tưởng tốt để có hàng ngàn luồng vì nó có thể bắt đầu tác động đến lượng RAM có sẵn và dẫn đến một lượng lớn chuyển đổi giữa các luồng, điều này có thể dẫn đến hiệu suất tồi tệ hơn.my_task” is the function you wish to execute and “arg1” and “arg2” are the first and second arguments to pass to the “my_task” function. Bạn có thể sử dụng hàm SOUNT () để gửi các tác vụ không thực hiện bất kỳ đối số nào; Ví dụ:submit() function to submit tasks that do not take any arguments; for example:
Bạn có thể truy cập kết quả của tác vụ thông qua hàm result () trên đối tượng tương lai được trả về. Cuộc gọi này sẽ chặn cho đến khi hoàn thành nhiệm vụ.result() function on the returned Future object. This call will block until the task is completed.
Bạn có thể truy cập kết quả của tác vụ thông qua hàm result () trên đối tượng tương lai được trả về. Cuộc gọi này sẽ chặn cho đến khi hoàn thành nhiệm vụ.result() via the “timeout” argument in seconds if you wish to impose a limit on how long you’re willing to wait for each task to complete, after which a TimeOut error will be raised.
Bạn có thể truy cập kết quả của tác vụ thông qua hàm result () trên đối tượng tương lai được trả về. Cuộc gọi này sẽ chặn cho đến khi hoàn thành nhiệm vụ.# Nhận kết quả từ một tương laiconcurrent.futures module provides two module utility functions for waiting for tasks via their Future objects. result = future.result ()# khốiFuture objects are only created when we call submit() to push tasks into the thread pool. Bạn cũng có thể đặt thời gian chờ khi gọi kết quả () thông qua đối số thời gian chờ của trực tuyến trong vài giây nếu bạn muốn áp đặt giới hạn về thời gian bạn sẵn sàng chờ đợi mỗi nhiệm vụ hoàn thành, sau đó sẽ tăng lỗi.map() or submit() or wait for all tasks in the thread pool to finish. # Đợi nhiệm vụ hoàn thành hoặc hết thời gian hết hạnwait() for waiting for Future objects to complete and as_completed() for getting Future objects as their tasks complete.
Mô -đun đồng thời.Future objects created by one or more thread pools, they are not specific to any given thread pool in your application. This is helpful if you want to perform waiting operations across multiple thread pools that are executing different types of tasks. Hãy nhớ lại rằng các đối tượng trong tương lai chỉ được tạo khi chúng ta gọi Substem () để đẩy các tác vụ vào nhóm luồng.
Đợi (): Đợi một hoặc nhiều đối tượng trong tương lai cho đến khi chúng được hoàn thành.my_data” is one element of data passed as an argument to “my_task“, and “my_datalist” is our source of my_data objects. AS_Completed (): Trả về các đối tượng trong tương lai từ một bộ sưu tập khi chúng hoàn thành việc thực thi của chúng.Future objects to wait() or as_completed(). Bạn có thể sử dụng cả hai chức năng với các đối tượng trong tương lai được tạo bởi một hoặc nhiều nhóm luồng, chúng không cụ thể cho bất kỳ nhóm chủ đề nào trong ứng dụng của bạn. Điều này rất hữu ích nếu bạn muốn thực hiện các hoạt động chờ trên nhiều nhóm luồng đang thực hiện các loại tác vụ khác nhau.Future objects in this way is not required, just a common pattern when converting for loops into tasks submitted to a thread pool. Cả hai chức năng đều hữu ích để sử dụng với một thành ngữ của việc gửi nhiều tác vụ vào nhóm luồng thông qua gửi trong nén danh sách; Ví dụ:# gửi các nhiệm vụ vào nhóm chủ đề và tạo một danh sách các tương laiwait() function can take one or more Future objects and will return when a specified action occurs, such as all tasks completing, one task completing, or one task raising an exception. Tương lai = [Executor.submit (my_task, my_data) formy_data inmy_datalist]Future objects that match the condition set via the “return_when“. The second set will contain all of the futures for tasks that did not meet the condition. These are called the “done” and the “not_done” sets of futures. Ở đây, my_task là chức năng tác vụ mục tiêu tùy chỉnh của chúng tôi, thì My_Data, là một yếu tố của dữ liệu được truyền như một đối số cho MY_TASK, và Hồi My_Datalist là nguồn của chúng tôi về các đối tượng My_Data. Sau đó, chúng ta có thể chuyển các đối tượng trong tương lai để chờ () hoặc as_completed ().FIRST_COMPLETED constant passed to the “return_when” argument.
Bước 3a. Chờ tương lai để hoàn thànhALL_COMPLETED constant. Hàm chờ () có thể lấy một hoặc nhiều đối tượng trong tương lai và sẽ quay lại khi xảy ra hành động được chỉ định, chẳng hạn như tất cả các tác vụ hoàn thành, một nhiệm vụ hoàn thành hoặc một tác vụ nâng cao ngoại lệ.submit() to dispatch tasks and are looking for an easy way to wait for all work to be completed.
Nó rất hữu ích cho việc chờ đợi một loạt công việc lớn và ngừng chờ đợi khi chúng tôi nhận được kết quả đầu tiên.FIRST_EXCEPTION constant.
# Chờ cho đến khi chúng tôi nhận được kết quả đầu tiênNgoài ra, chúng ta có thể chờ tất cả các tác vụ hoàn thành thông qua hằng số all_completed. Điều này có thể hữu ích nếu bạn đang sử dụng Substem () để gửi các nhiệm vụ và đang tìm kiếm một cách dễ dàng để chờ mọi công việc được hoàn thành.Future objects for tasks as they are completed in the thread pool. # Đợi tất cả các nhiệm vụ hoàn thànhFuture objects created by calling submit() and it will return Future objects as they are completed in whatever order. Ngoài ra còn có một tùy chọn để chờ ngoại lệ đầu tiên thông qua hằng số First_Exception.as_completed() function in a loop over the list of Future objects created when calling submit; for example:
Bạn có thể truy cập kết quả của tác vụ thông qua hàm result () trên đối tượng tương lai được trả về. Cuộc gọi này sẽ chặn cho đến khi hoàn thành nhiệm vụ.map() in two ways. Firstly, map() returns an iterator over objects, not over Future objects. Secondly, map() returns results in the order that the tasks were submitted, not in the order that they are completed. Bước 4. Tắt nhóm chủ đềKhi tất cả các tác vụ được hoàn thành, chúng tôi có thể đóng xuống nhóm luồng, sẽ giải phóng từng luồng và bất kỳ tài nguyên nào nó có thể giữ (ví dụ: không gian ngăn xếp luồng).
Hàm Shutdown () sẽ chờ tất cả các tác vụ trong nhóm luồng hoàn thành trước khi quay lại theo mặc định.shutdown() function will wait for all tasks in the thread pool to complete before returning by default. Hành vi này có thể được thay đổi bằng cách đặt đối số chờ đợi của Wikipedia thành Sai khi gọi Shutdown (), trong trường hợp đó, hàm sẽ quay lại ngay lập tức. Các tài nguyên được sử dụng bởi nhóm chủ đề sẽ không được phát hành cho đến khi tất cả các nhiệm vụ hiện tại và xếp hàng được hoàn thành.wait” argument to False when calling shutdown(), in which case the function will return immediately. The resources used by thread pool will not be released until all current and queued tasks are completed.
Hàm Shutdown () sẽ chờ tất cả các tác vụ trong nhóm luồng hoàn thành trước khi quay lại theo mặc định.cancel_futures” argument to True. By default queued tasks are not cancelled when calling shutdown().
Hàm Shutdown () sẽ chờ tất cả các tác vụ trong nhóm luồng hoàn thành trước khi quay lại theo mặc định. Hành vi này có thể được thay đổi bằng cách đặt đối số chờ đợi của Wikipedia thành Sai khi gọi Shutdown (), trong trường hợp đó, hàm sẽ quay lại ngay lập tức. Các tài nguyên được sử dụng bởi nhóm chủ đề sẽ không được phát hành cho đến khi tất cả các nhiệm vụ hiện tại và xếp hàng được hoàn thành.Executor.shutdown (chờ = false)# không chặnThreadPoolExecutor class is to use a context manager. Chúng tôi cũng có thể hướng dẫn nhóm hủy bỏ tất cả các nhiệm vụ xếp hàng để ngăn chặn việc thực thi của họ. Điều này có thể đạt được bằng cách đặt đối số của Hủy hủy_futures thành True. Theo mặc định, các nhiệm vụ xếp hàng không bị hủy khi gọi Shutdown (). # Hủy tất cả các nhiệm vụ xếp hàngThreadPoolExecutor with a context manager involves using the “with” keyword to create a block in which you can use the thread pool to execute tasks and get results. Executor.Shutdown (Hủy_Futures = true)# Blocksshutdown() function with the default arguments, waiting for all queued and executing tasks to complete before returning and carrying on. Nếu chúng ta quên đóng nhóm luồng, nhóm luồng sẽ được đóng tự động khi chúng ta thoát khỏi luồng chính. Nếu chúng ta quên đóng hồ bơi và vẫn còn các nhiệm vụ thực thi, luồng chính sẽ không thoát ra cho đến khi tất cả các tác vụ trong nhóm và tất cả các nhiệm vụ xếp hàng đã được thực hiện.
# Hủy tất cả các nhiệm vụ xếp hàng Executor.Shutdown (Hủy_Futures = true)# Blocks Nếu chúng ta quên đóng nhóm luồng, nhóm luồng sẽ được đóng tự động khi chúng ta thoát khỏi luồng chính. Nếu chúng ta quên đóng hồ bơi và vẫn còn các nhiệm vụ thực thi, luồng chính sẽ không thoát ra cho đến khi tất cả các tác vụ trong nhóm và tất cả các nhiệm vụ xếp hàng đã được thực hiện.ThreadPoolExecutor, let’s look at some worked examples. Trình quản lý bối cảnh ThreadPoolExecutor Một cách ưa thích để làm việc với lớp ThreadPoolExecutor là sử dụng Trình quản lý ngữ cảnh. Điều này phù hợp với cách ưa thích để làm việc với các tài nguyên khác, chẳng hạn như các tệp và ổ cắm. Sử dụng ThreadPoolExecutor với Trình quản lý ngữ cảnh liên quan đến việc sử dụng từ khóa của With với từ khóa để tạo một khối trong đó bạn có thể sử dụng nhóm luồng để thực hiện các tác vụ và nhận kết quả. Khi khối đã hoàn thành, nhóm luồng sẽ tự động tắt. Trong nội bộ, Trình quản lý ngữ cảnh sẽ gọi hàm Shutdown () với các đối số mặc định, chờ tất cả các nhiệm vụ được xếp hàng và thực hiện hoàn thành trước khi trả lại và tiếp tục.Dưới đây là một đoạn mã để chứng minh việc tạo một nhóm luồng bằng trình quản lý ngữ cảnh.ThreadPoolExecutor. # Tạo một nhóm chủ đềThreadPoolExecutor is to download files from the internet concurrently. với ThreadPoolExecutor (MAX_Workers = 10) Aspool:ThreadPoolExecutor for downloading files concurrently. # Gửi nhiệm vụ và nhận kết quả # ...# tự động tắt nhóm chủ đề ... # hồ bơi đang tắt vào thời điểm này Đây là một thành ngữ rất tiện dụng nếu bạn đang chuyển đổi một vòng lặp để được đa luồng. Sẽ ít hữu ích hơn nếu bạn muốn nhóm chủ đề hoạt động trong nền trong khi bạn thực hiện các công việc khác trong chuỗi chính của chương trình hoặc nếu bạn muốn sử dụng lại nhóm chủ đề nhiều lần trong suốt chương trình của bạn.
URL rất dễ dàng để tải xuống trong Python. Đầu tiên, chúng ta có thể cố gắng mở kết nối với máy chủ bằng hàm urllib.request.urropen () và chỉ định URL và thời gian chờ hợp lý trong giây. Điều này sẽ cung cấp một kết nối, sau đó chúng ta có thể gọi hàm read () để đọc nội dung của tệp. Sử dụng trình quản lý bối cảnh cho kết nối sẽ đảm bảo nó sẽ được đóng tự động, ngay cả khi một ngoại lệ được nâng lên.read() function to read the contents of the file. Using the context manager for the connection will ensure it will be closed automatically, even if an exception is raised. Hàm download_url () bên dưới thực hiện điều này, lấy URL làm tham số và trả về nội dung của tệp hoặc không có nếu tệp không thể được tải xuống vì bất kỳ lý do gì. Chúng tôi sẽ đặt thời gian chờ dài 3 giây trong trường hợp kết nối Internet của chúng tôi là bong tróc vì một số lý do.download_url() function below implements this, taking a URL as a parameter and returning the contents of the file or None if the file cannot be downloaded for whatever reason. We will set a lengthy timeout of 3 seconds in case our internet connection is flaky for some reason.
Khi chúng tôi có dữ liệu cho một URL, chúng tôi có thể lưu nó dưới dạng tệp cục bộ. Đầu tiên, chúng ta cần truy xuất tên tệp của tệp được chỉ định trong URL. Có một vài cách để làm điều này, nhưng hàm Os.Path.basename () là một cách tiếp cận phổ biến khi làm việc với các đường dẫn. Sau đó, chúng ta có thể sử dụng hàm Os.Path.join () để xây dựng đường dẫn đầu ra để lưu tệp, sử dụng thư mục chúng tôi chỉ định và tên tệp.os.path.basename() function is a common approach when working with paths. We can then use the os.path.join() function to construct an output path for saving the file, using a directory we specify and the filename. Sau đó, chúng ta có thể sử dụng hàm tích hợp mở () để mở tệp ở chế độ ghi nhị phân và lưu nội dung của tệp, một lần nữa sử dụng trình quản lý ngữ cảnh để đảm bảo tệp được đóng sau khi chúng ta kết thúc.open() built-in function to open the file in write-binary mode and save the contents of the file, again using the context manager to ensure the file is closed once we are finished. Hàm save_file () bên dưới thực hiện điều này, lấy URL đã được tải xuống, nội dung của tệp đã được tải xuống và đường dẫn đầu ra cục bộ nơi chúng tôi muốn lưu các tệp đã tải xuống. Nó trả về đường dẫn đầu ra được sử dụng để lưu tệp, trong trường hợp chúng tôi muốn báo cáo tiến trình cho người dùng.save_file() function below implements this, taking the URL that was downloaded, the contents of the file that was downloaded, and the local output path where we wish to save downloaded files. It returns the output path that was used to save the file, in case we want to report progress to the user.
Tiếp theo, chúng ta có thể gọi hàm download_url () cho một url đã cho trong danh sách của chúng tôi sau đó save_file () để lưu từng tệp đã tải xuống.download_url() function for a given URL in our list then save_file() to save each downloaded file. Hàm download_and_save () bên dưới thực hiện điều này, báo cáo tiến trình trên đường đi và xử lý trường hợp của các URL không thể tải xuống.download_and_save() function below implements this, reporting progress along the way, and handling the case of URLs that cannot be downloaded.
Cuối cùng, chúng tôi cần một chức năng để thúc đẩy quá trình. Đầu tiên, vị trí đầu ra cục bộ nơi chúng tôi sẽ lưu các tệp cần được tạo, nếu nó không tồn tại. Chúng ta có thể đạt được điều này bằng cách sử dụng hàm os.makedirs (). Chúng tôi có thể lặp lại một danh sách các URL và gọi hàm Tải xuống_and_save () của chúng tôi cho mỗi danh sách.download_and_save() function for each. Hàm download_docs () bên dưới thực hiện điều này.download_docs() function below implements this.
Và đó là nó. Sau đó, chúng tôi có thể gọi Download_Docs () của chúng tôi với danh sách URL và thư mục đầu ra của chúng tôi. Trong trường hợp này, chúng tôi sẽ sử dụng ‘Tài liệu/SIBDITORY của thư mục làm việc hiện tại của chúng tôi (nơi đặt tập lệnh Python) làm thư mục đầu ra.download_docs() with our list of URLs and an output directory. In this case, we will use a ‘docs/‘ subdirectory of our current working directory (where the Python script is located) as the output directory. Kết hợp điều này lại với nhau, ví dụ hoàn chỉnh về việc tải xuống các tệp được liệt kê dưới đây.
Chạy ví dụ lặp lại qua danh sách các URL và lần lượt tải xuống. Mỗi tệp sau đó được lưu vào một tệp cục bộ trong thư mục được chỉ định. Quá trình này mất khoảng 700 mili giây đến khoảng một giây (1.000 mili giây) trên hệ thống của tôi. Hãy thử chạy nó một vài lần; Mất bao lâu trên hệ thống của bạn? Hãy cho tôi biết trong các ý kiến.
Tiếp theo, chúng ta có thể xem xét việc làm cho chương trình đồng thời bằng cách sử dụng nhóm chủ đề. Tải xuống các tệp đồng thời với Sublding ()Chúng ta hãy xem xét việc cập nhật chương trình của chúng tôi để sử dụng ThempoolExecutor để tải xuống các tệp đồng thời.ThreadPoolExecutor to download files concurrently. Một suy nghĩ đầu tiên có thể là sử dụng map () vì chúng tôi chỉ muốn thực hiện một vòng lặp đồng thời.map() as we just want to make a for-loop concurrent. Thật không may, hàm download_and_save () mà chúng ta gọi là mỗi lần lặp trong vòng lặp có hai tham số, chỉ một trong số đó là một điều không thể điều chỉnh được.download_and_save() function that we call each iteration in the loop takes two parameters, only one of which is an iterable. Một cách tiếp cận thay thế là sử dụng Substem () để gọi download_and_save () trong một luồng riêng cho mỗi URL trong danh sách được cung cấp.download_and_save() in a separate thread for each URL in the provided list. Chúng ta có thể làm điều này bằng cách đầu tiên định cấu hình một nhóm luồng với số lượng luồng bằng số lượng URL trong danh sách. Chúng tôi sẽ sử dụng trình quản lý ngữ cảnh cho nhóm chủ đề để nó sẽ được đóng tự động cho chúng tôi khi chúng tôi hoàn thành. Sau đó, chúng ta có thể gọi hàm SOUND () cho mỗi URL bằng cách sử dụng nén danh sách. Chúng tôi thậm chí không cần các đối tượng trong tương lai được trả lại từ việc gọi điện, vì không có kết quả là chúng tôi đang chờ đợi.submit() function for each URL using a list compression. We don’t even need the Future objects returned from calling submit, as there is no result we’re waiting for.
Khi mỗi chủ đề đã hoàn thành, trình quản lý bối cảnh sẽ đóng nhóm luồng cho chúng tôi và chúng tôi đã hoàn thành. Chúng tôi thậm chí không cần thêm một cuộc gọi rõ ràng để chờ đợi, mặc dù chúng tôi có thể nếu chúng tôi muốn làm cho mã dễ đọc hơn; Ví dụ:
Chúng tôi thậm chí không cần thêm một cuộc gọi rõ ràng để chờ đợi, mặc dù chúng tôi có thể nếu chúng tôi muốn làm cho mã dễ đọc hơn; Ví dụ: & nbsp; & nbsp; & nbsp; & nbsp; futures = [Executor.submit (download_and_save, url, path) forurl inurls]download_docs() function that downloads and saves the files concurrently is listed below.
& nbsp;
Chạy ví dụ tải xuống và lưu các tệp như trước. Lần này, hoạt động được hoàn thành trong một phần của một giây. Khoảng 300 mili giây trong trường hợp của tôi, ít hơn một nửa thời gian để tải xuống tất cả các tệp theo ví dụ trước. Mất bao lâu để tải xuống tất cả các tệp trên hệ thống của bạn?
Đây là một cách tiếp cận để thực hiện chương trình đồng thời, nhưng hãy để Lôi xem xét một số lựa chọn thay thế. Tải xuống các tệp đồng thời với SUMAL () và AS_COMPLETED ()Có lẽ chúng tôi muốn báo cáo tiến trình tải xuống khi chúng được hoàn thành. Nhóm luồng cho phép chúng tôi thực hiện điều này bằng cách lưu trữ các đối tượng trong tương lai được trả về từ các cuộc gọi để gửi () và sau đó gọi AS_Completed () trên bộ sưu tập các đối tượng trong tương lai.Future objects returned from calls to submit() and then calling the as_completed() on the collection of Future objects. Ngoài ra, hãy xem xét rằng chúng tôi đang làm hai điều trong nhiệm vụ. Đầu tiên là tải xuống từ một máy chủ từ xa, đây là hoạt động ràng buộc IO mà chúng ta có thể thực hiện đồng thời. Thứ hai là lưu nội dung của tệp vào ổ cứng cục bộ, đây là một hoạt động liên kết IO khác mà chúng ta không thể thực hiện đồng thời vì hầu hết các ổ cứng chỉ có thể lưu một tệp cùng một lúc. Do đó, có lẽ một thiết kế tốt hơn là chỉ làm cho tập tin tải xuống một phần của chương trình thành một nhiệm vụ đồng thời và phần lưu tệp của chương trình nối tiếp. Điều này sẽ đòi hỏi nhiều thay đổi hơn cho chương trình. Chúng tôi có thể gọi hàm download_url () cho mỗi URL và đây có thể là tác vụ đồng thời của chúng tôi được gửi đến nhóm luồng.download_url() function for each URL and this can be our concurrent task submitted to the thread pool. Khi chúng tôi gọi kết quả () trên mỗi đối tượng trong tương lai, nó sẽ cung cấp cho chúng tôi dữ liệu đã được tải xuống, nhưng chúng tôi đã giành được những gì URL dữ liệu đã được tải xuống. Đối tượng tương lai đã giành chiến thắng.result() on each Future object, it will give us the data that was downloaded, but we won’t know what URL the data was downloaded from. The Future object won’t know. Do đó, chúng tôi có thể cập nhật tải xuống_url () để trả về cả dữ liệu đã được tải xuống và URL được cung cấp dưới dạng đối số.download_url() to return both the data that was downloaded and the URL that was provided as an argument. Phiên bản cập nhật của hàm download_url () trả về một bộ dữ liệu và URL đầu vào được liệt kê bên dưới.download_url() function that returns a tuple of data and the input URL is listed below.
Sau đó, chúng tôi có thể gửi một cuộc gọi đến chức năng này cho mỗi URL đến nhóm luồng để cung cấp cho chúng tôi một đối tượng trong tương lai.Future object.
Càng xa càng tốt. Bây giờ, chúng tôi muốn lưu các tệp cục bộ và báo cáo tiến trình khi các tệp được tải xuống. Điều này yêu cầu chúng ta ăn thịt chức năng download_and_save () và di chuyển nó trở lại chức năng download_docs () được sử dụng để điều khiển chương trình.download_and_save() function and move it back into the download_docs() function used to drive the program. Chúng ta có thể lặp lại tương lai thông qua hàm as_completed () sẽ trả về các đối tượng trong tương lai theo thứ tự mà các bản tải xuống được hoàn thành, chứ không phải thứ tự chúng tôi gửi chúng vào nhóm luồng.as_completed() function that will return Future objects in the order that the downloads are completed, not the order that we dispatched them into the thread pool. Sau đó, chúng ta có thể truy xuất dữ liệu và URL từ đối tượng tương lai.Future object.
Bây giờ, chúng tôi muốn lưu các tệp cục bộ và báo cáo tiến trình khi các tệp được tải xuống.download_and_save() function.
Sau đó, chúng ta có thể truy xuất dữ liệu và URL từ đối tượng tương lai.download_docs() function that will only download files concurrently then save the files serially as the files are downloaded is listed below.
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;
Chạy chương trình, các tệp được tải xuống và lưu như trước, có lẽ nhanh hơn vài mili giây. Nhìn vào đầu ra của chương trình, chúng ta có thể thấy rằng thứ tự các tệp đã lưu là khác nhau. Các tệp nhỏ hơn như Lịch trình.html, được gửi gần như cuối cùng đã được tải xuống sớm hơn (ví dụ: ít byte hơn để tải xuống) và lần lượt được lưu vào các tệp cục bộ sớm hơn.sched.html” that were dispatched nearly last were downloaded sooner (e.g. less bytes to download) and in turn were saved to local files sooner. Điều này xác nhận rằng chúng tôi thực sự đang xử lý các bản tải xuống theo thứ tự hoàn thành nhiệm vụ của họ và không phải là thứ tự các nhiệm vụ đã được gửi.
Bây giờ chúng ta đã thấy một số ví dụ, hãy để xem xét một số mẫu sử dụng phổ biến khi sử dụng ThreadPoolExecutor.ThreadPoolExecutor. Các mẫu sử dụng ThreadPoolExecutorThreadPoolExecutor cung cấp rất nhiều sự linh hoạt để thực hiện các nhiệm vụ đồng thời trong Python.ThreadPoolExecutor provides a lot of flexibility for executing concurrent tasks in Python. Tuy nhiên, có một số ít các mẫu sử dụng phổ biến sẽ phù hợp với hầu hết các kịch bản chương trình. Phần này liệt kê các mẫu sử dụng phổ biến với các ví dụ đã làm việc mà bạn có thể sao chép và dán vào dự án của riêng bạn và thích ứng khi cần thiết. Các mẫu chúng ta sẽ xem xét như sau:
Chúng tôi sẽ sử dụng một nhiệm vụ giả định trong mỗi ví dụ sẽ ngủ trong một khoảng thời gian ngẫu nhiên ít hơn một giây. Bạn có thể dễ dàng thay thế nhiệm vụ ví dụ này bằng nhiệm vụ của riêng bạn trong mỗi mẫu. Ngoài ra, hãy nhớ lại rằng mỗi chương trình Python có một luồng theo mặc định được gọi là luồng chính nơi chúng tôi thực hiện công việc của chúng tôi. Chúng tôi sẽ tạo nhóm luồng trong luồng chính trong mỗi ví dụ và có thể tham chiếu các hành động trong luồng chính trong một số mẫu, trái ngược với các hành động trong các luồng trong nhóm luồng. Bản đồ và mô hình chờGửi và sử dụng làm mẫu đã hoàn thànhThreadPoolExecutor is to convert a for loop that executes a function on each item in a collection to use threads. Gửi và sử dụng mẫu tuần tự Gửi và sử dụng mẫu gọi lại
Ngoài ra, hãy nhớ lại rằng mỗi chương trình Python có một luồng theo mặc định được gọi là luồng chính nơi chúng tôi thực hiện công việc của chúng tôi. Chúng tôi sẽ tạo nhóm luồng trong luồng chính trong mỗi ví dụ và có thể tham chiếu các hành động trong luồng chính trong một số mẫu, trái ngược với các hành động trong các luồng trong nhóm luồng.map() function that applies the function to each item in the iterable for you.
Chúng tôi sẽ sử dụng một nhiệm vụ giả định trong mỗi ví dụ sẽ ngủ trong một khoảng thời gian ngẫu nhiên ít hơn một giây. Bạn có thể dễ dàng thay thế nhiệm vụ ví dụ này bằng nhiệm vụ của riêng bạn trong mỗi mẫu.task() function to each item until we iterate the results, so-called lazy evaluation:
Ngoài ra, hãy nhớ lại rằng mỗi chương trình Python có một luồng theo mặc định được gọi là luồng chính nơi chúng tôi thực hiện công việc của chúng tôi. Chúng tôi sẽ tạo nhóm luồng trong luồng chính trong mỗi ví dụ và có thể tham chiếu các hành động trong luồng chính trong một số mẫu, trái ngược với các hành động trong các luồng trong nhóm luồng.
Ngoài ra, hãy nhớ lại rằng mỗi chương trình Python có một luồng theo mặc định được gọi là luồng chính nơi chúng tôi thực hiện công việc của chúng tôi. Chúng tôi sẽ tạo nhóm luồng trong luồng chính trong mỗi ví dụ và có thể tham chiếu các hành động trong luồng chính trong một số mẫu, trái ngược với các hành động trong các luồng trong nhóm luồng.
Ngoài ra, hãy nhớ lại rằng mỗi chương trình Python có một luồng theo mặc định được gọi là luồng chính nơi chúng tôi thực hiện công việc của chúng tôi. Chúng tôi sẽ tạo nhóm luồng trong luồng chính trong mỗi ví dụ và có thể tham chiếu các hành động trong luồng chính trong một số mẫu, trái ngược với các hành động trong các luồng trong nhóm luồng.map() function. Có lẽ mẫu phổ biến nhất khi sử dụng ThreadPoolExecutor là chuyển đổi vòng lặp For thực thi hàm trên mỗi mục trong một bộ sưu tập để sử dụng các luồng.map() as a concurrent version of the map() function and is ideal if you are looking to update your for loop to use threads. Nó giả định rằng chức năng không có tác dụng phụ, có nghĩa là nó không truy cập bất kỳ dữ liệu nào bên ngoài hàm và không thay đổi dữ liệu được cung cấp cho nó. Nó lấy dữ liệu và tạo ra một kết quả.
Chạy ví dụ, chúng ta có thể thấy rằng các kết quả được báo cáo theo thứ tự các tác vụ được tạo và gửi vào nhóm luồng. Hàm bản đồ () hỗ trợ các hàm mục tiêu lấy nhiều hơn một đối số bằng cách cung cấp nhiều hơn các đối số khác như đối số cho Call to Map ().map() function supports target functions that take more than one argument by providing more than iterable as arguments to the call to map(). Ví dụ: chúng ta có thể xác định chức năng đích cho bản đồ có hai đối số, sau đó cung cấp hai lần lặp có cùng độ dài cho cuộc gọi đến bản đồ. Ví dụ hoàn chỉnh được liệt kê dưới đây.
Chạy ví dụ thực hiện các tác vụ như mong đợi, cung cấp hai đối số để lập bản đồ và báo cáo kết quả kết hợp cả hai đối số.
Một cuộc gọi đến chức năng MAP sẽ phát hành tất cả các tác vụ cho nhóm luồng ngay lập tức, ngay cả khi bạn không lặp lại kết quả có thể lặp lại. Điều này không giống như hàm Bản đồ tích hợp () lười biếng và không tính toán từng cuộc gọi cho đến khi bạn yêu cầu kết quả trong quá trình lặp.map() function that is lazy and does not compute each call until you ask for the result during iteration. Ví dụ dưới đây xác nhận điều này bằng cách ban hành tất cả các tác vụ bằng bản đồ và không lặp lại kết quả.
Chạy ví dụ thực hiện các tác vụ như mong đợi, cung cấp hai đối số để lập bản đồ và báo cáo kết quả kết hợp cả hai đối số. ('1', 'A')
nhiệm vụ def (giá trị):& nbsp; & nbsp; & nbsp; & nbsp; print (f'done: {value} '))ThreadPoolExecutor is to submit tasks and use the results as they become available. In ('Tất cả đã hoàn thành!')submit() function to push tasks into the thread pool that returns Future objects, then calling the module method as_completed() on the list of Future objects that will return each Future object as it’s task is completed. Chạy ví dụ, chúng ta có thể thấy rằng các tác vụ được gửi vào nhóm luồng và được thực thi mà không phải vượt qua rõ ràng các kết quả được trả về.
Chạy ví dụ, chúng ta có thể thấy rằng các kết quả được báo cáo theo thứ tự các tác vụ được tạo và gửi vào nhóm luồng. Gửi và sử dụng tuần tựChúng tôi có thể yêu cầu kết quả từ các nhiệm vụ theo thứ tự các nhiệm vụ đã được gửi. Điều này có thể là do các nhiệm vụ có trật tự tự nhiên. Chúng tôi có thể thực hiện mẫu này bằng cách gọi Substem () cho mỗi nhiệm vụ để có được một danh sách các đối tượng trong tương lai, sau đó lặp lại các đối tượng trong tương lai theo thứ tự các tác vụ đã được gửi và truy xuất kết quả.submit() for each task to get a list of Future objects, then iterating over the Future objects in the order that the tasks were submitted and retrieving the results. Sự khác biệt chính so với mẫu AS AS AS đã hoàn thành là chúng tôi liệt kê trực tiếp danh sách các tương lai, thay vì gọi hàm as_completed ().as_completed() function.
Ví dụ dưới đây cho thấy mẫu này, gửi các nhiệm vụ theo thứ tự từ 0 đến 9 và hiển thị kết quả theo thứ tự mà chúng đã được gửi.
Chạy ví dụ, chúng ta có thể thấy rằng các kết quả được truy xuất và in theo thứ tự các tác vụ đã được gửi, chứ không phải thứ tự mà các tác vụ đã được hoàn thành. Gửi và sử dụng gọi lạiChúng tôi có thể không muốn xử lý rõ ràng kết quả khi chúng có sẵn; Thay vào đó, chúng tôi muốn gọi một chức năng trên kết quả. Thay vì thực hiện điều này theo cách thủ công, chẳng hạn như trong mẫu đã hoàn thành ở trên, chúng ta có thể tự động gọi nhóm luồng cho chúng ta với kết quả. Điều này có thể đạt được bằng cách đặt một cuộc gọi lại trên mỗi đối tượng trong tương lai bằng cách gọi hàm add_done_callback () và truyền tên của hàm.Future object by calling the add_done_callback() function and passing the name of the function. Sau đó, nhóm luồng sẽ gọi chức năng gọi lại khi mỗi tác vụ hoàn thành, chuyển trong các đối tượng trong tương lai cho tác vụ.Future objects for the task. Ví dụ dưới đây cho thấy mẫu này, đăng ký chức năng gọi lại tùy chỉnh sẽ được áp dụng cho mỗi tác vụ khi hoàn thành.
Chạy ví dụ, chúng ta có thể thấy rằng các kết quả được truy xuất và in theo thứ tự các tác vụ đã được gửi, chứ không phải thứ tự mà các tác vụ đã được hoàn thành. Gửi và sử dụng gọi lạiFuture object; it is not limited to a single callback. Chúng tôi có thể không muốn xử lý rõ ràng kết quả khi chúng có sẵn; Thay vào đó, chúng tôi muốn gọi một chức năng trên kết quả.Future object. Thay vì thực hiện điều này theo cách thủ công, chẳng hạn như trong mẫu đã hoàn thành ở trên, chúng ta có thể tự động gọi nhóm luồng cho chúng ta với kết quả.Future.
Chạy ví dụ, chúng ta có thể thấy rằng kết quả được báo cáo theo thứ tự các tác vụ đã được hoàn thành và hai chức năng gọi lại được gọi cho mỗi nhiệm vụ theo thứ tự chúng tôi đã đăng ký chúng với mỗi đối tượng trong tương lai.Future object.
Gửi và chờ tất cảNgười ta thường gửi tất cả các nhiệm vụ và sau đó chờ tất cả các tác vụ trong nhóm luồng hoàn thành. Mẫu này có thể hữu ích khi các tác vụ không trả về kết quả trực tiếp, chẳng hạn như nếu mỗi tác vụ lưu trữ kết quả trong một tài nguyên trực tiếp giống như một tệp. Có hai cách mà chúng ta có thể chờ đợi các tác vụ hoàn thành: bằng cách gọi hàm mô -đun chờ () hoặc bằng cách gọi tắt ().wait() module function or by calling shutdown(). Trường hợp có khả năng nhất là bạn muốn chờ đợi rõ ràng một bộ hoặc tập hợp con của các tác vụ trong nhóm luồng để hoàn thành. Bạn có thể đạt được điều này bằng cách chuyển danh sách các tác vụ cho hàm Wait (), theo mặc định, sẽ chờ tất cả các tác vụ hoàn tất.wait() function, which, by default, will wait for all tasks to complete.
Chúng ta có thể chỉ định rõ ràng để chờ tất cả các tác vụ bằng cách đặt đối số của return return_when, thành hằng số all_completed; Ví dụ:return_when” argument to the ALL_COMPLETED constant; for example:
Chúng ta có thể chỉ định rõ ràng để chờ tất cả các tác vụ bằng cách đặt đối số của return return_when, thành hằng số all_completed; Ví dụ:wait() as we have no need to inspect it in this case.
& nbsp; & nbsp; & nbsp; & nbsp;# chờ hoàn thành các nhiệm vụ ...
Callback 1: 3 Gọi lại 2: 3Future objects or when we only intend to use the thread pool once for a set of tasks. Callback 1: 9
Chạy ví dụ, chúng ta có thể thấy rằng luồng chính không di chuyển và in tin nhắn cho đến khi tất cả các tác vụ được hoàn thành, sau khi nhóm luồng đã được trình quản lý ngữ cảnh tự động tắt.
Mẫu tắt tự động của Trình quản lý bối cảnh có thể gây nhầm lẫn cho các nhà phát triển không được sử dụng với cách các nhóm luồng hoạt động, do đó nhận xét ở cuối khối Trình quản lý bối cảnh trong ví dụ trước. Chúng ta có thể đạt được hiệu ứng tương tự mà không cần người quản lý ngữ cảnh và một cuộc gọi rõ ràng để tắt máy.
Hãy nhớ lại rằng hàm Shutdown () sẽ chờ tất cả các tác vụ hoàn thành theo mặc định và sẽ không hủy bất kỳ tác vụ được xếp hàng nào, nhưng chúng ta có thể đưa ra điều này rõ ràng bằng cách đặt đối số chờ đợi của Wait thành True và đối số của Hủy hủy_futures thành sai; Ví dụ:shutdown() function will wait for all tasks to complete by default and will not cancel any queued tasks, but we can make this explicit by setting the “wait” argument to True and the “cancel_futures” argument to False; for example:
Hãy nhớ lại rằng hàm Shutdown () sẽ chờ tất cả các tác vụ hoàn thành theo mặc định và sẽ không hủy bất kỳ tác vụ được xếp hàng nào, nhưng chúng ta có thể đưa ra điều này rõ ràng bằng cách đặt đối số chờ đợi của Wait thành True và đối số của Hủy hủy_futures thành sai; Ví dụ:shutdown() before moving on.
# Đợi tất cả các nhiệm vụ hoàn thành
Mẫu tắt tự động của Trình quản lý bối cảnh có thể gây nhầm lẫn cho các nhà phát triển không được sử dụng với cách các nhóm luồng hoạt động, do đó nhận xét ở cuối khối Trình quản lý bối cảnh trong ví dụ trước.Chúng ta có thể đạt được hiệu ứng tương tự mà không cần người quản lý ngữ cảnh và một cuộc gọi rõ ràng để tắt máy. ... # Đợi tất cả các nhiệm vụ hoàn thành và đóng hồ bơi Hãy nhớ lại rằng hàm Shutdown () sẽ chờ tất cả các tác vụ hoàn thành theo mặc định và sẽ không hủy bất kỳ tác vụ được xếp hàng nào, nhưng chúng ta có thể đưa ra điều này rõ ràng bằng cách đặt đối số chờ đợi của Wait thành True và đối số của Hủy hủy_futures thành sai; Ví dụ:wait() module function and setting the “return_when” argument to the FIRST_COMPLETED constant.
Hãy nhớ lại rằng hàm Shutdown () sẽ chờ tất cả các tác vụ hoàn thành theo mặc định và sẽ không hủy bất kỳ tác vụ được xếp hàng nào, nhưng chúng ta có thể đưa ra điều này rõ ràng bằng cách đặt đối số chờ đợi của Wait thành True và đối số của Hủy hủy_futures thành sai; Ví dụ:shutdown() manually so that we can continue on with the execution of the main thread without waiting for all of the other tasks to complete. Ví dụ dưới đây cho thấy mô hình chờ đợi tất cả các tác vụ trong nhóm luồng hoàn thành bằng cách gọi tắt () trước khi tiếp tục.
# SuperfastPython.com # Ví dụ về việc gửi và chờ tất cả với mẫu tắt cho ThreadPoolExecutor từ thời gian nhập vào giấc ngủThreadPoolExecutor, let’s look at how we might customize the configuration of the thread pool. từ nhập ngẫu nhiên ngẫu nhiêntừ đồng thời.ThreadPoolExecutor instance. # Nhiệm vụ tùy chỉnh sẽ ngủ trong một khoảng thời gian thay đổi Hãy cùng nhau xem xét kỹ hơn từng cái. Định cấu hình số lượng luồngSố lượng luồng trong nhóm luồng có thể được cấu hình bởi đối số Max Max_Workers.max_workers” argument. Nó có một số nguyên dương và mặc định cho số lượng CPU trong hệ thống của bạn cộng với bốn.
Ví dụ: nếu bạn có 2 CPU vật lý trong hệ thống của mình và mỗi CPU có hyperthreading (phổ biến trong CPU hiện đại) thì bạn sẽ có 2 CPU vật lý và 4 CPU logic. Python sẽ thấy 4 CPU. Số lượng các luồng công nhân mặc định trên hệ thống của bạn sau đó sẽ là (4 + 4) hoặc 8. Nếu số này xuất hiện là hơn 32 (ví dụ: 16 lõi vật lý, 32 lõi logic, cộng với bốn), mặc định sẽ cắt các luồng trên xuống 32. Người ta thường có nhiều luồng hơn CPU (vật lý hoặc logic) trong hệ thống của bạn. Lý do cho điều này là do các chủ đề được sử dụng cho các nhiệm vụ gắn IO, không phải là các nhiệm vụ ràng buộc CPU. Điều này có nghĩa là các chủ đề được sử dụng cho các tác vụ chờ đợi các tài nguyên tương đối chậm để trả lời, như ổ cứng, ổ đĩa DVD, máy in và kết nối mạng, và nhiều hơn nữa. Chúng tôi sẽ thảo luận về ứng dụng tốt nhất của các chủ đề trong phần sau. Do đó, không có gì lạ khi có hàng chục, hàng trăm và thậm chí hàng ngàn chủ đề trong ứng dụng của bạn, tùy thuộc vào nhu cầu cụ thể của bạn. Thật bất thường khi có nhiều hơn một hoặc vài nghìn chủ đề. Nếu bạn yêu cầu nhiều chủ đề này, thì các giải pháp thay thế có thể được ưu tiên, chẳng hạn như asyncio. Chúng tôi sẽ thảo luận về các chủ đề so với Asyncio trong phần sau. Đầu tiên, hãy để kiểm tra số lượng chủ đề được tạo cho các nhóm chủ đề trên hệ thống của bạn. Nhìn vào mã nguồn cho ThreadPoolExecutor, chúng ta có thể thấy rằng số lượng chủ đề công nhân được chọn theo mặc định được lưu trữ trong thuộc tính _max_workers, chúng ta có thể truy cập và báo cáo sau khi một nhóm luồng được tạo.ThreadPoolExecutor, we can see that the number of worker threads chosen by default is stored in the _max_workers property, which we can access and report after a thread pool is created. Lưu ý: Hồi _Max_Workers là một thành viên được bảo vệ và có thể thay đổi trong tương lai._max_workers” is a protected member and may change in the future. Ví dụ dưới đây báo cáo số lượng luồng mặc định trong nhóm luồng trên hệ thống của bạn.
Chạy ví dụ báo cáo số lượng chủ đề công nhân được sử dụng theo mặc định trên hệ thống của bạn. Tôi có bốn lõi CPU vật lý và tám lõi logic; Do đó, mặc định là 8 + 4 hoặc 12 luồng. Có bao nhiêu luồng công nhân được phân bổ theo mặc định trên hệ thống của bạn? Hãy cho tôi biết trong các bình luận bên dưới. Chúng tôi có thể chỉ định số lượng chủ đề công nhân trực tiếp và đây là một ý tưởng tốt trong hầu hết các ứng dụng. Ví dụ dưới đây trình bày cách định cấu hình 500 luồng công nhân.
Chạy ví dụ báo cáo số lượng chủ đề công nhân được sử dụng theo mặc định trên hệ thống của bạn. Tôi có bốn lõi CPU vật lý và tám lõi logic; Do đó, mặc định là 8 + 4 hoặc 12 luồng.Có bao nhiêu luồng công nhân được phân bổ theo mặc định trên hệ thống của bạn? Hãy cho tôi biết trong các bình luận bên dưới. Chúng tôi có thể chỉ định số lượng chủ đề công nhân trực tiếp và đây là một ý tưởng tốt trong hầu hết các ứng dụng. Ví dụ dưới đây trình bày cách định cấu hình 500 luồng công nhân. # Định cấu hình và báo cáo số lượng chủ đề công nhân mặc định# Tạo một nhóm chủ đề với số lượng lớn các chủ đề công nhân # Báo cáo số lượng chủ đề công nhânMainThread“. You can access the main thread via a call to the main_thread() function in the threading module and then access the name member. For example:
Nếu ứng dụng của bạn được dự định sẽ được thực hiện nhiều lần trong tương lai, bạn có thể kiểm tra các số luồng khác nhau và so sánh thời gian thực hiện tổng thể, sau đó chọn một số luồng mang lại hiệu suất gần như tốt nhất. Bạn có thể muốn chế giễu nhiệm vụ trong các thử nghiệm này với một hoạt động ngủ ngẫu nhiên. Định cấu hình tên luồng Mỗi chủ đề trong Python có một tên. Chủ đề chính có tên là Main Mainthread. Bạn có thể truy cập luồng chính thông qua gọi đến hàm main_thread () trong mô -đun luồng và sau đó truy cập thành viên tên. Ví dụ:ThreadPoolExecutor-%d_%d” where the first %d indicates the thread pool number and the second %d indicates the thread number, both in the order that thread pools and threads are created. Chúng ta có thể thấy điều này nếu chúng ta truy cập các luồng trực tiếp bên trong nhóm sau khi phân bổ một số công việc để tất cả các luồng được tạo. Chúng ta có thể liệt kê tất cả các luồng trong chương trình Python (xử lý) thông qua hàm liệt kê () trong mô -đun luồng, sau đó báo cáo tên cho mỗi. Ví dụ dưới đây tạo ra một nhóm luồng với số lượng luồng mặc định, phân bổ hoạt động cho nhóm để đảm bảo các luồng được tạo, sau đó báo cáo tên của tất cả các luồng trong chương trình.
Chạy ví dụ báo cáo tên của tất cả các luồng trong hệ thống, trước tiên hiển thị tên của luồng chính và tên của bốn luồng trong nhóm. Trong trường hợp này, chỉ có 4 luồng được tạo ra khi các nhiệm vụ được thực hiện rất nhanh. Hãy nhớ lại rằng các chủ đề công nhân được sử dụng sau khi họ hoàn thành việc thực hiện các nhiệm vụ của họ. Khả năng tái sử dụng công nhân này là một lợi ích chính của việc sử dụng nhóm chủ đề.
ThemePoolExecutor-%D, là tiền tố cho tất cả các luồng trong nhóm luồng và chúng tôi có thể tùy chỉnh nó với một tên có thể có ý nghĩa trong ứng dụng cho các loại nhiệm vụ được thực hiện bởi nhóm.ThreadPoolExecutor-%d” is a prefix for all threads in the thread pool and we can customize it with a name that may be meaningful in the application for the types of tasks executed by the pool. Tiền tố tên luồng có thể được đặt thông qua đối số của Chủ đề_NAME_PREFIX khi xây dựng nhóm luồng.thread_name_prefix” argument when constructing the thread pool. Ví dụ dưới đây đặt tiền tố là là Task TaskPool, được chuẩn bị theo tên của mỗi luồng được tạo trong nhóm.TaskPool“, which is prepended to the name of each thread created in the pool.
Chạy ví dụ báo cáo tên của tất cả các luồng trong hệ thống, trước tiên hiển thị tên của luồng chính và tên của bốn luồng trong nhóm.
ThemePoolExecutor-%D, là tiền tố cho tất cả các luồng trong nhóm luồng và chúng tôi có thể tùy chỉnh nó với một tên có thể có ý nghĩa trong ứng dụng cho các loại nhiệm vụ được thực hiện bởi nhóm.Tiền tố tên luồng có thể được đặt thông qua đối số của Chủ đề_NAME_PREFIX khi xây dựng nhóm luồng. Ví dụ dưới đây đặt tiền tố là là Task TaskPool, được chuẩn bị theo tên của mỗi luồng được tạo trong nhóm.initializer” argument when creating a thread pool. If the initializer function takes arguments, they can be passed in via the “initargs” argument to the thread pool, which is a tuple of arguments to pass to the initializer function. # Đặt tiền tố tên luồng tùy chỉnh cho tất cả các luồng trong nhóm # Tạo một nhóm chủ đề với tiền tố tùy chỉnh tên Chạy ví dụ báo cáo tên của luồng chính như trước đây, nhưng trong trường hợp này, tên của các luồng trong nhóm luồng với tiền tố tên luồng tùy chỉnh. Định cấu hình trình khởi tạo Chủ đề công nhân có thể gọi một chức năng trước khi chúng bắt đầu xử lý các tác vụ.
Chạy ví dụ, chúng ta có thể thấy rằng hai luồng được khởi tạo trước khi chạy bất kỳ tác vụ nào, sau đó tất cả mười tác vụ được hoàn thành thành công.
Bây giờ chúng ta đã quen thuộc với cách định cấu hình các nhóm luồng, hãy để tìm hiểu thêm về cách kiểm tra và thao tác các tác vụ thông qua các đối tượng trong tương lai. Cách sử dụng chi tiết các đối tượng trong tương laiCác đối tượng trong tương lai được tạo khi chúng ta gọi Substem () để gửi các tác vụ vào ThreadPoolExecutor để được thực thi không đồng bộ. objects are created when we call submit() to send tasks into the ThreadPoolExecutor to be executed asynchronously. Các đối tượng trong tương lai cung cấp khả năng kiểm tra trạng thái của một tác vụ (ví dụ: nó có đang chạy không?) Và để kiểm soát việc thực hiện nhiệm vụ (ví dụ: hủy). objects provide the capability to check the status of a task (e.g. is it running?) and to control the execution of the task (e.g. cancel). Trong phần này, chúng tôi sẽ xem xét một số ví dụ về kiểm tra và thao túng các đối tượng trong tương lai được tạo bởi nhóm chủ đề của chúng tôi.Future objects created by our thread pool. Cụ thể, chúng tôi sẽ xem xét như sau:
Đầu tiên, chúng ta hãy xem xét kỹ hơn về vòng đời của một đối tượng trong tương lai. Vòng đời của một đối tượng tương laiMột đối tượng trong tương lai được tạo khi chúng ta gọi Substem () cho một tác vụ trên ThreadPoolExecutor.Future object is created when we call submit() for a task on a ThreadPoolExecutor. Trong khi nhiệm vụ đang thực thi, đối tượng trong tương lai có trạng thái đang chạy.Future object has the status “running“. Khi nhiệm vụ hoàn thành, nó có trạng thái được thực hiện và nếu hàm đích trả về một giá trị, nó có thể được truy xuất. Trước khi một nhiệm vụ chạy, nó sẽ được chèn vào hàng đợi các nhiệm vụ cho một chuỗi công nhân để thực hiện và bắt đầu chạy. Ở trạng thái trước khi chạy trước đây, nhiệm vụ này có thể bị hủy bỏ và có trạng thái bị hủy bỏ. Một nhiệm vụ trong trạng thái chạy trên mạng không thể bị hủy bỏ. Một nhiệm vụ bị hủy bỏ của người Viking cũng luôn ở trạng thái thực hiện. Trong khi một nhiệm vụ đang chạy, nó có thể tăng một ngoại lệ không bị bắt, khiến việc thực hiện nhiệm vụ dừng lại. Ngoại lệ sẽ được lưu trữ và có thể được truy xuất trực tiếp hoặc sẽ được tăng lại nếu kết quả được cố gắng lấy. Hình dưới đây tóm tắt vòng đời của một đối tượng trong tương lai.Future object. Bây giờ chúng ta đã quen thuộc với vòng đời của một đối tượng trong tương lai, hãy để Lôi nhìn vào cách chúng ta có thể sử dụng kiểm tra và thao túng nó.Future object, let’s look at how we might use check and manipulate it. Cách kiểm tra trạng thái của tương laiLàm thế nào để có được kết quả từ tương laiFuture object that we might want to check: running and done. Cách hủy bỏ tương laiTrue if the Future object is in that state or False otherwise; for example:
Đầu tiên, chúng ta hãy xem xét kỹ hơn về vòng đời của một đối tượng trong tương lai.Future object. Vòng đời của một đối tượng tương lai
Running (): Trả về đúng nếu nhiệm vụ hiện đang chạy.
Làm thế nào để có được kết quả từ tương laiKhi một nhiệm vụ được hoàn thành, chúng ta có thể lấy kết quả từ nhiệm vụ bằng cách gọi hàm kết quả () trong tương lai.result() function on the Future. Điều này trả về kết quả từ chức năng trả về của tác vụ chúng tôi đã thực hiện hoặc không có nếu hàm không trả về giá trị.None if the function did not return a value. Hàm sẽ chặn cho đến khi hoàn thành nhiệm vụ và kết quả có thể được truy xuất. Nếu nhiệm vụ đã được hoàn thành, nó sẽ trả về kết quả ngay lập tức. Ví dụ dưới đây cho thấy cách lấy kết quả từ một đối tượng trong tương lai.Future object.
Chạy ví dụ gửi nhiệm vụ sau đó cố gắng truy xuất kết quả, chặn cho đến khi kết quả có sẵn, sau đó báo cáo kết quả đã nhận được. Chúng tôi cũng có thể đặt thời gian chờ trong thời gian chúng tôi muốn chờ kết quả trong vài giây. Nếu thời gian chờ trôi qua trước khi chúng ta nhận được kết quả, một thời gian được nâng lên.TimeoutError is raised. Ví dụ dưới đây cho thấy thời gian chờ, cho thấy cách từ bỏ việc chờ đợi trước khi hoàn thành nhiệm vụ.
Nếu thời gian chờ trôi qua trước khi chúng ta nhận được kết quả, một thời gian được nâng lên.
# Đặt thời gian chờ khi nhận được kết quả từ một tương laitừ đồng thời. & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;submit() or map() that the tasks are added to an internal queue of work from which worker threads can remove the tasks and execute them. & nbsp; & nbsp; & nbsp; & nbsp; ngoại trừ timeouterror:cancel() on the Future object associated with the task. The cancel() function will return True if the task was cancelled, False otherwise. & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Chạy ví dụ cho thấy rằng chúng tôi đã từ bỏ việc chờ kết quả sau nửa giây.
Chạy ví dụ, chúng ta có thể thấy rằng nhiệm vụ đầu tiên được bắt đầu và đang chạy bình thường. Nhiệm vụ thứ hai được lên lịch và chưa chạy vì nhóm luồng bị chiếm giữ với nhiệm vụ đầu tiên. Sau đó chúng tôi hủy bỏ nhiệm vụ thứ hai và xác nhận rằng nó thực sự không chạy; Nó đã bị hủy và được thực hiện.
Hủy một tương lai đang chạyBây giờ, hãy để cố gắng hủy bỏ một nhiệm vụ đã hoàn thành chạy.
Chạy ví dụ, chúng ta có thể thấy rằng nhiệm vụ đã được bắt đầu theo bình thường. Sau đó, chúng tôi đã cố gắng hủy bỏ nhiệm vụ, nhưng điều này không thành công, như chúng tôi mong đợi, vì nhiệm vụ đã được thực hiện. Sau đó chúng tôi chờ đợi nhiệm vụ hoàn thành và sau đó kiểm tra trạng thái của nó. Chúng ta có thể thấy rằng nhiệm vụ không còn chạy và không bị hủy, như chúng ta mong đợi, nhưng được đánh dấu là không được thực hiện. Điều này là đáng ngạc nhiên vì nhiệm vụ đã được hoàn thành thành công. Điều này có khả năng chỉ ra tình huống nhận được yêu cầu hủy bỏ nhưng không được thực hiện.
Hủy một tương lai đã hoàn thànhXem xét những gì sẽ xảy ra nếu chúng tôi cố gắng hủy bỏ một nhiệm vụ đã được thực hiện. Chúng tôi có thể hy vọng rằng việc hủy bỏ một nhiệm vụ đã được thực hiện không có hiệu lực và điều này xảy ra. Điều này có thể được chứng minh với một ví dụ ngắn. Chúng tôi bắt đầu và chạy một nhiệm vụ theo bình thường, sau đó chờ nó hoàn thành và báo cáo trạng thái của nó. Sau đó chúng tôi cố gắng hủy bỏ nhiệm vụ.
Chạy ví dụ, chúng ta có thể thấy rằng nhiệm vụ đã được bắt đầu theo bình thường. Sau đó, chúng tôi đã cố gắng hủy bỏ nhiệm vụ, nhưng điều này không thành công, như chúng tôi mong đợi, vì nhiệm vụ đã được thực hiện.
Cách thêm một cuộc gọi lại vào tương laiChúng tôi đã thấy ở trên làm thế nào để thêm một cuộc gọi lại vào một tương lai. Tuy nhiên, hãy để Lôi xem xét một số ví dụ khác cho tính đầy đủ bao gồm một số trường hợp cạnh.Future. Nevertheless, let’s look at some more examples for completeness including some edge cases. Chúng ta có thể đăng ký một hoặc nhiều hàm gọi lại trên một đối tượng trong tương lai bằng cách gọi hàm add_done_callback () và chỉ định tên của hàm để gọi.Future object by calling the add_done_callback() function and specifying the name of the function to call. Các chức năng gọi lại sẽ được gọi với đối tượng trong tương lai như một đối số ngay sau khi hoàn thành nhiệm vụ. Nếu có nhiều chức năng gọi lại được đăng ký, thì chúng sẽ được gọi theo thứ tự chúng được đăng ký và mọi trường hợp ngoại lệ trong mỗi hàm gọi lại sẽ bị bắt, ghi nhật ký và bỏ qua.Future object as an argument immediately after the completion of the task. If more than one callback function is registered, then they will be called in the order they were registered and any exceptions within each callback function will be caught, logged and ignored. Cuộc gọi lại sẽ được gọi bởi luồng công nhân đã thực hiện nhiệm vụ. Ví dụ dưới đây trình bày cách thêm chức năng gọi lại vào một đối tượng trong tương lai.Future object.
Chạy ví dụ, chúng ta có thể thấy rằng nhiệm vụ được hoàn thành trước, sau đó cuộc gọi lại được thực thi như chúng ta mong đợi.
Lỗi phổ biến khi sử dụng các cuộc gọi lại trong tương laiMột lỗi phổ biến là quên thêm đối tượng trong tương lai làm đối số vào cuộc gọi lại tùy chỉnh.Future object as an argument to the custom callback. Ví dụ:
# Nhiệm vụ giả sẽ ngủ trong giây látTypeError as follows:
Ví dụ:TypeError makes it clear how to fix the issue: add a single argument to the function for the future object, even if you don’t intend on using it in your callback. def Custom_callback ():Nếu bạn đăng ký chức năng này và cố gắng chạy mã, bạn sẽ nhận được một kiểu mẫu như sau:Future objects for tasks that are cancelled. Gọi gọi điện ngoại lệ cho ... TypeError: Custom_callback () lấy 0 đối số vị trí nhưng 1 đã được đưa ra
Gọi lại tùy chỉnh được gọi là Nhiệm vụ thứ hai được lên lịch nhưng không có cơ hội chạy trước khi chúng tôi hủy nó. Cuộc gọi lại được chạy ngay sau khi chúng tôi hủy nhiệm vụ, sau đó chúng tôi báo cáo trong chuỗi chính thực sự nhiệm vụ đã bị hủy chính xác.
Làm thế nào để có được ngoại lệ từ tương laiMột nhiệm vụ có thể tăng một ngoại lệ trong quá trình thực hiện. Nếu chúng ta có thể dự đoán ngoại lệ, chúng ta có thể bọc các phần của chức năng tác vụ của mình trong một khối Except thử và xử lý ngoại lệ trong nhiệm vụ. Nếu một ngoại lệ bất ngờ xảy ra trong nhiệm vụ của chúng tôi, nhiệm vụ sẽ ngừng thực thi. Chúng tôi không thể biết dựa trên trạng thái nhiệm vụ liệu một ngoại lệ đã được nêu ra, nhưng chúng tôi có thể kiểm tra trực tiếp một ngoại lệ. Sau đó, chúng ta có thể truy cập ngoại lệ thông qua hàm Exception (). Thay vào đó, ngoại lệ sẽ được tăng lại khi gọi hàm kết quả () khi cố gắng có kết quả.exception() function. Alternately, the exception will be re-raised when calling the result() function when trying to get a result. Chúng ta có thể chứng minh điều này với một ví dụ. Ví dụ dưới đây sẽ tăng giá trịerRor trong nhiệm vụ sẽ không bị bắt nhưng thay vào đó sẽ bị nhóm luồng bắt để chúng tôi truy cập sau này.ValueError within the task that will not be caught but instead will be caught by the thread pool for us to access later.
Chạy ví dụ bắt đầu nhiệm vụ bình thường, ngủ trong một giây. Nhiệm vụ sau đó đặt ra một ngoại lệ được bắt bởi nhóm chủ đề. Nhóm chủ đề lưu trữ ngoại lệ và nhiệm vụ được hoàn thành. Chúng ta có thể thấy rằng sau khi hoàn thành nhiệm vụ, nó được đánh dấu là không chạy, không bị hủy và thực hiện. Sau đó, chúng tôi truy cập ngoại lệ từ nhiệm vụ, phù hợp với ngoại lệ mà chúng tôi cố tình nêu ra. Cố gắng truy cập kết quả thông qua hàm kết quả () không thành công và chúng tôi bắt được ngoại lệ tương tự được nêu trong nhiệm vụ.
Các cuộc gọi lại vẫn được gọi nếu một tác vụ làm tăng một ngoại lệChúng tôi có thể tự hỏi nếu chúng tôi đăng ký một chức năng gọi lại với một tương lai liệu nó vẫn sẽ thực thi nếu nhiệm vụ tăng một ngoại lệ.Future whether it will still execute if the task raises an exception. Như chúng ta có thể mong đợi, cuộc gọi lại được thực thi ngay cả khi nhiệm vụ tăng một ngoại lệ. Chúng tôi có thể kiểm tra điều này bằng cách cập nhật ví dụ trước đó để đăng ký chức năng gọi lại trước khi tác vụ thất bại với một ngoại lệ.
Chạy ví dụ bắt đầu nhiệm vụ như trước, nhưng lần này đăng ký chức năng gọi lại. Khi tác vụ thất bại với một ngoại lệ, cuộc gọi lại được gọi ngay lập tức. Chủ đề chính sau đó báo cáo trạng thái của tác vụ thất bại và các chi tiết của ngoại lệ.
Khi nào nên sử dụng ThreadPoolExecutorThreadPoolExecutor mạnh mẽ và linh hoạt, mặc dù nó không phù hợp với tất cả các tình huống mà bạn cần chạy một nhiệm vụ nền.ThreadPoolExecutor is powerful and flexible, although it is not suited for all situations where you need to run a background task. Trong phần này, chúng tôi sẽ xem xét một số trường hợp chung mà nó phù hợp, và nơi đó là, sau đó chúng tôi sẽ xem xét các lớp nhiệm vụ rộng và lý do tại sao chúng hoặc không phù hợp với ThreadPoolExecutor.ThreadPoolExecutor. Sử dụng ThreadPoolExecutor khi
Các nhóm luồng hoạt động tốt nhất khi áp dụng cùng một hàm thuần túy trên một tập hợp các dữ liệu khác nhau (ví dụ: các tác vụ đồng nhất, dữ liệu không đồng nhất). Điều này làm cho mã dễ dàng hơn để đọc và gỡ lỗi. Đây không phải là một quy tắc, chỉ là một gợi ý nhẹ nhàng. Sử dụng nhiều ThreadPoolExecutor khi
Các nhóm luồng có thể hoạt động trên các tác vụ của các loại khác nhau (ví dụ: các tác vụ không đồng nhất), mặc dù nó có thể giúp tổ chức chương trình của bạn và gỡ lỗi dễ dàng nếu một nhóm luồng riêng biệt chịu trách nhiệm cho từng loại nhiệm vụ. Đây không phải là một quy tắc, chỉ là một gợi ý nhẹ nhàng. Don Tiết sử dụng ThreadPoolExecutor khi
Điểm ngọt ngào cho các nhóm chủ đề là trong việc gửi nhiều nhiệm vụ tương tự, kết quả có thể được sử dụng sau này trong chương trình. Các nhiệm vụ không phù hợp với bản tóm tắt này có lẽ không phù hợp với các nhóm chủ đề. Đây không phải là một quy tắc, chỉ là một gợi ý nhẹ nhàng. Bạn có biết bất kỳ trường hợp tốt hay xấu nào khác khi sử dụng ThreadPoolExecutor không? Hãy cho tôi biết trong các bình luận bên dưới. Sử dụng các chủ đề cho các tác vụ gắn IOBạn nên sử dụng các chủ đề cho các nhiệm vụ ràng buộc IO. Nhiệm vụ ràng buộc IO là một loại nhiệm vụ liên quan đến việc đọc từ hoặc ghi vào một thiết bị, tệp hoặc kết nối ổ cắm. Các hoạt động liên quan đến đầu vào và đầu ra (IO) và tốc độ của các hoạt động này bị ràng buộc bởi thiết bị, ổ cứng hoặc kết nối mạng. Đây là lý do tại sao các nhiệm vụ này được gọi là giới hạn IO. CPU thực sự nhanh. CPU hiện đại, giống như 4GHz, có thể thực hiện 4 tỷ hướng dẫn mỗi giây và bạn có thể có nhiều hơn một CPU trong hệ thống của mình. Làm IO rất chậm so với tốc độ của CPU. Tương tác với các thiết bị, đọc và ghi các tệp và kết nối ổ cắm liên quan đến việc gọi hướng dẫn trong hệ điều hành của bạn (kernel), sẽ chờ hoàn thành thao tác. Nếu hoạt động này là trọng tâm chính cho CPU của bạn, chẳng hạn như thực hiện trong chuỗi chính của chương trình Python của bạn, thì CPU của bạn sẽ chờ nhiều mili giây hoặc thậm chí nhiều giây không làm gì cả. Đó là khả năng hàng tỷ hoạt động ngăn chặn thực thi. Chúng tôi có thể giải phóng CPU khỏi các hoạt động ràng buộc IO bằng cách thực hiện các hoạt động ràng buộc IO trên một chủ đề thực thi khác. Điều này cho phép CPU bắt đầu quá trình và chuyển nó cho hệ điều hành (kernel) để chờ đợi và giải phóng nó để thực hiện trong một luồng ứng dụng khác. Có nhiều hơn nữa cho nó dưới vỏ bọc, nhưng đây là ý chính. Do đó, các tác vụ chúng tôi thực thi với một ThreadPoolExecutor phải là các nhiệm vụ liên quan đến các hoạt động IO.ThreadPoolExecutor should be tasks that involve IO operations. Những ví dụ bao gồm:
Nếu nhiệm vụ của bạn không bị ràng buộc, có lẽ các chủ đề và sử dụng nhóm luồng là không phù hợp. Don Tiết sử dụng các chủ đề cho các nhiệm vụ ràng buộc CPUBạn có thể không nên sử dụng các chủ đề cho các tác vụ gắn CPU. Nhiệm vụ ràng buộc CPU là một loại nhiệm vụ liên quan đến việc thực hiện tính toán và không liên quan đến IO. Các hoạt động chỉ liên quan đến dữ liệu trong bộ nhớ chính (RAM) hoặc bộ đệm (bộ đệm CPU) và thực hiện các tính toán trên hoặc với dữ liệu đó. Như vậy, giới hạn về các hoạt động này là tốc độ của CPU. Đây là lý do tại sao chúng tôi gọi chúng là các nhiệm vụ ràng buộc CPU. Những ví dụ bao gồm:
Chụp ảnh hoặc ghi video. Và nhiều hơn nữa. Nếu nhiệm vụ của bạn không bị ràng buộc, có lẽ các chủ đề và sử dụng nhóm luồng là không phù hợp. Don Tiết sử dụng các chủ đề cho các nhiệm vụ ràng buộc CPU Bạn có thể không nên sử dụng các chủ đề cho các tác vụ gắn CPU. Nhiệm vụ ràng buộc CPU là một loại nhiệm vụ liên quan đến việc thực hiện tính toán và không liên quan đến IO. Các hoạt động chỉ liên quan đến dữ liệu trong bộ nhớ chính (RAM) hoặc bộ đệm (bộ đệm CPU) và thực hiện các tính toán trên hoặc với dữ liệu đó. Như vậy, giới hạn về các hoạt động này là tốc độ của CPU. Đây là lý do tại sao chúng tôi gọi chúng là các nhiệm vụ ràng buộc CPU. Tính toán điểm trong một fractal.ThreadPoolExecutor that uses processes called the ProcessPoolExecutor that can be used for concurrency of CPU-bound tasks. Ước tính PIBao thanh toán số nguyên tố. Phân tích cú pháp HTML, JSON, vv Tài liệu. Xử lý văn bản. Chạy mô phỏng.ThreadPoolExecutor; they are:
Gil không xấu xa và không bực bội; Đó là một quyết định thiết kế trong phiên dịch viên Python mà chúng ta phải nhận thức và xem xét trong việc thiết kế các ứng dụng của chúng tôi. CPU rất nhanh và chúng tôi thường có nhiều hơn một CPU. Chúng tôi muốn thực hiện các nhiệm vụ của mình và sử dụng đầy đủ nhiều lõi CPU trong phần cứng hiện đại.Sử dụng các luồng và nhóm luồng thông qua lớp ThreadPoolExecutor trong Python có lẽ không phải là một con đường để đạt được kết thúc này.ThreadPoolExecutor. Điều này là do một lý do kỹ thuật đằng sau cách mà thông dịch viên Python đã được thực hiện. Việc triển khai ngăn chặn hai hoạt động Python thực hiện cùng một lúc bên trong trình thông dịch và nó thực hiện điều này với một khóa chính mà chỉ có một luồng có thể giữ tại một thời điểm. Đây được gọi là khóa phiên dịch toàn cầu, hoặc Gil.initializer” argument to specify the function name and “initargs” to specify a tuple of arguments to the function. Gil không xấu xa và không bực bội; Đó là một quyết định thiết kế trong phiên dịch viên Python mà chúng ta phải nhận thức và xem xét trong việc thiết kế các ứng dụng của chúng tôi. Tôi đã nói rằng bạn có lẽ không nên sử dụng các chủ đề cho các tác vụ gắn CPU. Bạn có thể và được tự do làm như vậy, nhưng mã của bạn sẽ không được hưởng lợi từ sự đồng thời vì GIL. Nó có thể sẽ hoạt động tồi tệ hơn vì chi phí bổ sung của chuyển đổi ngữ cảnh (CPU nhảy từ một luồng thực thi này sang luồng thực thi khác) được giới thiệu bằng cách sử dụng các luồng.BrokenThreadPool exception. Ngoài ra, GIL là một quyết định thiết kế ảnh hưởng đến việc triển khai tham chiếu của Python, mà bạn tải xuống từ python.org. Nếu bạn sử dụng một triển khai khác của trình thông dịch Python (chẳng hạn như Pypy, Ironpython, Jython và có lẽ các phiên bản khác), thì bạn có thể không phải tuân theo GIL và có thể sử dụng các luồng cho các tác vụ ràng buộc CPU trực tiếp.
Chạy ví dụ thất bại với một ngoại lệ, như chúng tôi mong đợi. Nhóm luồng được tạo theo bình thường, nhưng ngay khi chúng tôi cố gắng thực thi các tác vụ, các luồng công nhân mới được tạo, chức năng khởi tạo luồng công nhân tùy chỉnh được gọi và làm tăng một ngoại lệ. Nhiều luồng đã cố gắng bắt đầu, và lần lượt, nhiều luồng không thành công với một ngoại lệ. Cuối cùng, bản thân nhóm chủ đề đã ghi lại một thông báo rằng hồ bơi bị hỏng và không thể được sử dụng nữa.
Ngoại lệ: Một cái gì đó xấu đã xảy ra! đồng thờiĐiều này nhấn mạnh rằng nếu bạn sử dụng chức năng khởi tạo tùy chỉnh, bạn phải xem xét cẩn thận các ngoại lệ có thể được nêu ra và có thể xử lý chúng, nếu không thì có nguy cơ tất cả các nhiệm vụ phụ thuộc vào nhóm luồng. Xử lý ngoại lệ trong quá trình thực hiện nhiệm vụFuture object associated with the task via the exception() function. Một ngoại lệ có thể xảy ra trong khi thực hiện nhiệm vụ của bạn.result() in the Future in order to get the result. This will impact both calls to submit() and map() when adding tasks to the thread pool. Điều này sẽ khiến nhiệm vụ ngừng thực thi, nhưng sẽ không phá vỡ nhóm luồng. Thay vào đó, ngoại lệ sẽ bị bắt bởi nhóm luồng và sẽ có sẵn thông qua đối tượng trong tương lai được liên kết với tác vụ thông qua hàm Exception ().
1. Xử lý các ngoại lệ trong hàm tác vụ.2. Xử lý các ngoại lệ khi nhận được kết quả từ các nhiệm vụ. Xử lý ngoại lệ trong nhiệm vụNone. Xử lý ngoại lệ trong nhiệm vụ có nghĩa là bạn cần một số cơ chế để cho người nhận kết quả biết rằng điều gì đó bất ngờ đã xảy ra. Điều này có thể thông qua giá trị trả về từ hàm, ví dụ: Không có.
Chạy ví dụ thất bại với một ngoại lệ, như chúng tôi mong đợi. Nhóm luồng được tạo theo bình thường, nhưng ngay khi chúng tôi cố gắng thực thi các tác vụ, các luồng công nhân mới được tạo, chức năng khởi tạo luồng công nhân tùy chỉnh được gọi và làm tăng một ngoại lệ. Nhiều luồng đã cố gắng bắt đầu, và lần lượt, nhiều luồng không thành công với một ngoại lệ. Cuối cùng, bản thân nhóm chủ đề đã ghi lại một thông báo rằng hồ bơi bị hỏng và không thể được sử dụng nữa.submit() and map(). It may require special handling of a custom return value for the failure case. Ngoại lệ trong bộ khởi tạo:Traceback (cuộc gọi gần đây nhất cuối cùng): ... Điều đó có nghĩa là người nhận phải nhận thức được các loại lỗi mà nhiệm vụ có thể nêu ra và xử lý chúng một cách rõ ràng. Ví dụ dưới đây xác định một nhiệm vụ đơn giản làm tăng một ngoại lệ, sau đó được người nhận xử lý khi cố gắng nhận kết quả từ cuộc gọi chức năng.Exception, which is then handled by the recipient when attempting to get the result from the function call.
Chạy ví dụ tạo ra nhóm luồng và gửi công việc theo bình thường. Nhiệm vụ không thành công với một lỗi, nhóm luồng bắt được ngoại lệ, lưu trữ nó, sau đó tái lập nó khi chúng tôi gọi hàm kết quả () trong tương lai.result() function in the Future. Người nhận kết quả chấp nhận ngoại lệ và bắt nó, báo cáo một trường hợp thất bại. Chúng ta cũng có thể kiểm tra ngoại lệ trực tiếp thông qua chức năng Call to the Exception () trên đối tượng tương lai. Hàm này chặn cho đến khi một ngoại lệ xảy ra và mất thời gian chờ, giống như một cuộc gọi để kết quả ().exception() function on the Future object. This function blocks until an exception occurs and takes a timeout, just like a call to result(). Nếu một ngoại lệ không bao giờ xảy ra và nhiệm vụ bị hủy hoặc hoàn thành thành công, thì Exception () sẽ trả về giá trị không có.exception() will return a value of None. Chúng tôi có thể chứng minh việc kiểm tra rõ ràng cho một trường hợp đặc biệt trong nhiệm vụ trong ví dụ dưới đây.
Chạy ví dụ tạo ra nhóm luồng và gửi công việc theo bình thường. Nhiệm vụ không thành công với một lỗi, nhóm luồng bắt được ngoại lệ, lưu trữ nó, sau đó tái lập nó khi chúng tôi gọi hàm kết quả () trong tương lai. Người nhận kết quả chấp nhận ngoại lệ và bắt nó, báo cáo một trường hợp thất bại. Chúng ta cũng có thể kiểm tra ngoại lệ trực tiếp thông qua chức năng Call to the Exception () trên đối tượng tương lai. Hàm này chặn cho đến khi một ngoại lệ xảy ra và mất thời gian chờ, giống như một cuộc gọi để kết quả ().Future object for each task, as map() does not provide access to Future objects. Nếu một ngoại lệ không bao giờ xảy ra và nhiệm vụ bị hủy hoặc hoàn thành thành công, thì Exception () sẽ trả về giá trị không có.map() to submit tasks, unless you wrap the entire iteration. Chúng tôi có thể chứng minh việc kiểm tra rõ ràng cho một trường hợp đặc biệt trong nhiệm vụ trong ví dụ dưới đây.map() that happens to raise an Exception. & nbsp; & nbsp; & nbsp; & nbsp;# xử lý trường hợp đặc biệt
& nbsp; & nbsp; & nbsp; & nbsp; ngoại trừ ngoại lệ:map()) and waits for the first result. & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;
Chúng tôi có thể chứng minh việc kiểm tra rõ ràng cho một trường hợp đặc biệt trong nhiệm vụ trong ví dụ dưới đây.map() is used to submit tasks to the thread pool, then the tasks should handle their own exceptions or be simple enough that exceptions are not expected. & nbsp; & nbsp; & nbsp; & nbsp;# xử lý trường hợp đặc biệt& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; in (ngoại lệ)ThreadPoolExecutor is in callback functions. Khi phát hành các tác vụ cho nhóm luồng với một cuộc gọi để gửi (), chúng tôi sẽ nhận được một đối tượng trong tương lai để trả lại cho chúng tôi có thể đăng ký các chức năng gọi lại để gọi khi tác vụ hoàn thành thông qua hàm add_done_callback ().submit(), we receive a Future object in return on which we can register callback functions to call when the task completes via the add_done_callback() function. Điều này cho phép một hoặc nhiều chức năng gọi lại được đăng ký sẽ được thực thi theo thứ tự chúng được đăng ký. Các cuộc gọi lại này luôn được gọi, ngay cả khi tác vụ bị hủy hoặc không thể vượt qua một ngoại lệ. Một cuộc gọi lại có thể thất bại với một ngoại lệ và nó sẽ không ảnh hưởng đến các chức năng gọi lại khác đã được đăng ký hoặc nhiệm vụ. Ngoại lệ được bắt bởi nhóm luồng, đăng nhập như một thông báo loại ngoại lệ và thủ tục di chuyển. Theo một nghĩa nào đó, các cuộc gọi lại có thể thất bại trong âm thầm. Chúng tôi có thể chứng minh điều này với một ví dụ hoạt động với nhiều chức năng gọi lại, trong đó đầu tiên sẽ tăng một ngoại lệ.
& nbsp; & nbsp; & nbsp; & nbsp;# thực hiện nhiệm vụ & nbsp; & nbsp; & nbsp; & nbsp;# Thêm các cuộc gọi lại tùy chỉnh & nbsp; & nbsp; & nbsp; & nbsp;# chờ cho nhiệm vụ hoàn thành và nhận kết quả & nbsp; & nbsp; & nbsp; & nbsp;# chờ gọi lại để hoàn thành
Nâng cao ngoại lệ ('Một cái gì đó xấu đã xảy ra!') Ngoại lệ: Một cái gì đó xấu đã xảy ra!Gọi lại 2 được gọi.ThreadPoolExecutor works internally. Nhiệm vụ được thực hiện Điều này nhấn mạnh rằng nếu các cuộc gọi lại dự kiến sẽ tăng một ngoại lệ, thì nó phải được xử lý rõ ràng và kiểm tra xem bạn có muốn có tác động đến chính nhiệm vụ hay không. Làm thế nào để ThreadPoolExecutor hoạt động trong nội bộThreadPoolExecutor and the base class here:
Điều quan trọng là phải tạm dừng trong một khoảnh khắc và xem xét cách thức hoạt động của ThreadPoolExecutor trong nội bộ. Các hoạt động nội bộ của lớp tác động đến cách chúng ta sử dụng nhóm luồng và hành vi chúng ta có thể mong đợi, cụ thể xung quanh việc hủy bỏ các nhiệm vụ. Không có kiến thức này, một số hành vi của nhóm chủ đề có thể xuất hiện khó hiểu từ bên ngoài.Bạn có thể thấy mã nguồn cho ThreadPoolExecutor và lớp cơ sở tại đây: Có rất nhiều thứ chúng ta có thể tìm hiểu về cách nhóm chủ đề hoạt động trong nội bộ, nhưng chúng ta sẽ giới hạn bản thân ở các khía cạnh quan trọng nhất. Có hai khía cạnh mà bạn cần xem xét về hoạt động nội bộ của lớp ThreadPoolExecutor: cách các tác vụ được gửi vào nhóm và cách tạo các luồng công nhân.SimpleQueue object, which is a thread-safe Queue implementation. This means we can add work to the pool from any thread and the Queue of work will not become corrupt from concurrent put() and get() operations. Nhiệm vụ được thêm vào hàng đợi nội bộ Các nhiệm vụ được gửi vào nhóm chủ đề bằng cách thêm chúng vào hàng đợi nội bộ. Một nhiệm vụ được bọc trong một đối tượng bên trong gọi là _workItem. Điều này nắm bắt các chi tiết như hàm để gọi, các đối số, đối tượng tương lai liên quan và xử lý các ngoại lệ nếu chúng xảy ra trong quá trình thực hiện nhiệm vụ._WorkItem. This captures the details such as the function to call, the arguments, the associated Future object, and handling of exceptions if they occur during task execution. Điều này giải thích làm thế nào một ngoại lệ trong một nhiệm vụ không làm giảm toàn bộ nhóm luồng, nhưng có thể được kiểm tra và truy cập sau khi nhiệm vụ hoàn thành. Khi đối tượng _WorkItem được lấy từ hàng đợi bằng luồng công nhân, nó sẽ kiểm tra xem nhiệm vụ đã bị hủy trước khi nó được thực thi. Nếu vậy, nó sẽ quay lại ngay lập tức và không thực hiện nội dung của nhiệm vụ._WorkItem object is retrieved from the queue by a worker thread, it will check if the task has been cancelled before it is executed. If so, it will return immediately and not execute the content of the task. Điều này giải thích nội bộ về cách hủy bỏ được thực hiện bởi nhóm luồng và lý do tại sao chúng ta không thể hủy một tác vụ đang chạy. Chủ đề công nhân được tạo khi cần thiếtChủ đề công nhân không được tạo khi nhóm luồng được tạo. Thay vào đó, các chủ đề công nhân được tạo theo yêu cầu hoặc đúng lúc. Mỗi lần một tác vụ được thêm vào hàng đợi bên trong, nhóm luồng sẽ kiểm tra xem số lượng luồng hoạt động có nhỏ hơn giới hạn trên của các luồng được hỗ trợ bởi nhóm luồng không. Nếu vậy, một chủ đề bổ sung được tạo để xử lý công việc mới. Khi một chủ đề đã hoàn thành một nhiệm vụ, nó sẽ chờ đợi trên hàng đợi cho công việc mới đến. Khi công việc mới đến, tất cả các luồng đang chờ đợi trên hàng đợi sẽ được thông báo và người ta sẽ tiêu thụ đơn vị công việc và bắt đầu thực hiện nó. Hai điểm này cho thấy cách nhóm sẽ chỉ tạo ra các chủ đề mới cho đến khi đạt được giới hạn và cách sử dụng các luồng, chờ đợi các tác vụ mới mà không tiêu thụ tài nguyên tính toán. Nó cũng cho thấy nhóm chủ đề sẽ không phát hành luồng sau một số đơn vị công việc cố định. Có lẽ đây sẽ là một bổ sung tốt đẹp cho API trong tương lai. Bây giờ chúng tôi đã hiểu cách thức hoạt động được đưa vào nhóm luồng và cách các nhóm quản lý các chủ đề, hãy để xem xét một số thực tiễn tốt nhất để xem xét khi sử dụng ThreadPoolExecutor. ThreadPoolExecutor Thực tiễn tốt nhấtBây giờ chúng ta đã biết cách thức hoạt động của ThreadPoolExecutor và cách sử dụng nó, hãy để xem xét một số thực tiễn tốt nhất để xem xét khi đưa các nhóm chủ đề vào các chương trình Python của chúng tôi.ThreadPoolExecutor works and how to use it, let’s review some best practices to consider when bringing thread pools into our Python programs. Để giữ cho mọi thứ đơn giản, có năm thực hành tốt nhất; họ đang:
Sử dụng Trình quản lý bối cảnhSử dụng trình quản lý bối cảnh khi sử dụng nhóm luồng và xử lý tất cả các tác vụ gửi đến nhóm luồng và kết quả xử lý trong Trình quản lý. Ví dụ:
Hãy nhớ định cấu hình nhóm luồng của bạn khi tạo nó trong trình quản lý ngữ cảnh, cụ thể bằng cách đặt số lượng luồng để sử dụng trong nhóm. Sử dụng trình quản lý bối cảnh tránh tình huống mà bạn đã khởi tạo rõ ràng nhóm luồng và quên tắt nó theo cách thủ công bằng cách gọi tắt ().shutdown(). Nó cũng ít mã hơn và được nhóm tốt hơn so với quản lý khởi tạo và tắt thủ công; Ví dụ:
Hãy nhớ định cấu hình nhóm luồng của bạn khi tạo nó trong trình quản lý ngữ cảnh, cụ thể bằng cách đặt số lượng luồng để sử dụng trong nhóm. Sử dụng trình quản lý bối cảnh tránh tình huống mà bạn đã khởi tạo rõ ràng nhóm luồng và quên tắt nó theo cách thủ công bằng cách gọi tắt ().Nó cũng ít mã hơn và được nhóm tốt hơn so với quản lý khởi tạo và tắt thủ công; Ví dụ:map() function to dispatch the tasks asynchronously. # Tạo một nhóm chủ đề theo cách thủ côngmyfunc() for each item:
Hãy nhớ định cấu hình nhóm luồng của bạn khi tạo nó trong trình quản lý ngữ cảnh, cụ thể bằng cách đặt số lượng luồng để sử dụng trong nhóm.
Hãy nhớ định cấu hình nhóm luồng của bạn khi tạo nó trong trình quản lý ngữ cảnh, cụ thể bằng cách đặt số lượng luồng để sử dụng trong nhóm.map() function on the thread pool.
Hãy nhớ định cấu hình nhóm luồng của bạn khi tạo nó trong trình quản lý ngữ cảnh, cụ thể bằng cách đặt số lượng luồng để sử dụng trong nhóm.map() function if your target task function has side effects. Sử dụng trình quản lý bối cảnh tránh tình huống mà bạn đã khởi tạo rõ ràng nhóm luồng và quên tắt nó theo cách thủ công bằng cách gọi tắt ().map() function if your target task function has no arguments or more than one argument. Nó cũng ít mã hơn và được nhóm tốt hơn so với quản lý khởi tạo và tắt thủ công; Ví dụ:map() function if you need control over exception handling for each task, or if you would like to get results to tasks in the order that tasks are completed. # Tạo một nhóm chủ đề theo cách thủ côngDon Tiết sử dụng trình quản lý bối cảnh khi bạn cần gửi các tác vụ và nhận kết quả trong bối cảnh rộng hơn (ví dụ: nhiều chức năng) và/hoặc khi bạn có quyền kiểm soát nhiều hơn đối với việc tắt nhóm.submit() and as_completed(). Hàm Substem () nằm trên nhóm luồng và được sử dụng để đẩy các tác vụ vào nhóm để thực thi và trả về ngay lập tức với một đối tượng trong tương lai cho nhiệm vụ. Hàm as_completed () là một phương thức mô -đun sẽ có thể sử dụng các đối tượng trong tương lai, như một danh sách và sẽ trả về các đối tượng trong tương lai khi các tác vụ được hoàn thành.submit() function is on the thread pool and is used to push tasks into the pool for execution and returns immediately with a Future object for the task. The as_completed() function is a module method that will take an iterable of Future objects, like a list, and will return Future objects as the tasks are completed. Ví dụ:
Không sử dụng kết hợp Sublication () và AS_Completed () nếu bạn cần xử lý kết quả theo thứ tự các tác vụ được gửi đến nhóm luồng.submit() and as_completed() combination if you need to process the results in the order that the tasks were submitted to the thread pool. Không sử dụng kết hợp SOUSM () và AS_COMPLETED () nếu bạn cần kết quả từ tất cả các tác vụ để tiếp tục; Bạn có thể tốt hơn khi sử dụng hàm mô -đun Wait ().submit() and as_completed() combination if you need results from all tasks to continue; you may be better off using the wait() module function. Không sử dụng kết hợp Subbor () và as_completed () cho một vòng lặp không đồng bộ đơn giản; Bạn có thể tốt hơn khi sử dụng Map ().submit() and as_completed() combination for a simple asynchronous for-loop; you may be better off using map(). Sử dụng các chức năng độc lập làm nhiệm vụSử dụng ThreadPoolExecutor nếu các nhiệm vụ của bạn độc lập.ThreadPoolExecutor if your tasks are independent. Điều này có nghĩa là mỗi nhiệm vụ không phụ thuộc vào các nhiệm vụ khác có thể thực thi cùng một lúc. Nó cũng có thể có nghĩa là các tác vụ không phụ thuộc vào bất kỳ dữ liệu nào ngoài dữ liệu được cung cấp thông qua các đối số chức năng cho tác vụ. ThreadPoolExecutor là lý tưởng cho các tác vụ không thay đổi bất kỳ dữ liệu nào, ví dụ: Không có tác dụng phụ, được gọi là các chức năng thuần túy.ThreadPoolExecutor is ideal for tasks that do not change any data, e.g. have no side effects, so-called pure functions. Các nhóm luồng có thể được tổ chức thành các luồng dữ liệu và đường ống cho sự phụ thuộc tuyến tính giữa các tác vụ, có lẽ với một nhóm luồng cho mỗi loại tác vụ. Nhóm chủ đề không được thiết kế cho các nhiệm vụ yêu cầu phối hợp; Bạn nên xem xét sử dụng các lớp luồng và các mẫu phối hợp như rào cản và semaphore.Thread class and coordination patterns like the Barrier and Semaphore. Các nhóm chủ đề không được thiết kế cho các nhiệm vụ yêu cầu đồng bộ hóa; Bạn nên xem xét sử dụng lớp luồng và các mẫu khóa như khóa và rlock.Thread class and locking patterns like Lock and RLock. Sử dụng cho các nhiệm vụ ràng buộc IO (có thể)Chỉ sử dụng ThreadPoolExecutor cho các tác vụ ràng buộc IO.ThreadPoolExecutor for IO-bound tasks only. Đây là các tác vụ có thể liên quan đến việc tương tác với một thiết bị bên ngoài như ngoại vi (ví dụ: máy ảnh hoặc máy in), thiết bị lưu trữ (ví dụ: thiết bị lưu trữ hoặc ổ cứng) hoặc máy tính khác (ví dụ: giao tiếp ổ cắm). Các luồng và nhóm chủ đề như ThreadPoolExecutor có lẽ không phù hợp với các tác vụ ràng buộc CPU, như tính toán trên dữ liệu trong bộ nhớ.ThreadPoolExecutor are not probably appropriate for CPU-bound tasks, like computation on data in memory. Điều này là do các quyết định thiết kế trong trình thông dịch Python sử dụng khóa chính được gọi là khóa phiên dịch toàn cầu (GIL) ngăn chặn nhiều hơn một hướng dẫn Python thực hiện cùng một lúc. Quyết định thiết kế này đã được đưa ra trong quá trình thực hiện tham chiếu của phiên dịch Python (từ Python.org), nhưng có thể không ảnh hưởng đến các phiên dịch viên khác (như Pypy, Iron Python và Jython). Lỗi phổ biến khi sử dụng ThreadPoolExecutorCó một số lỗi phổ biến khi sử dụng ThreadPoolExecutor.ThreadPoolExecutor. Các lỗi này thường được thực hiện do các lỗi được giới thiệu bởi mã sao chép và thực hiện hoặc từ một sự hiểu lầm nhỏ trong cách hoạt động của ThreadPoolExecutor.ThreadPoolExecutor works. Chúng tôi sẽ xem xét kỹ hơn một số lỗi phổ biến hơn khi sử dụng ThreadPoolExecutor.ThreadPoolExecutor. Bạn có lỗi bằng cách sử dụng ThreadPoolExecutor không? Hãy cho tôi biết trong các bình luận để tôi có thể đề xuất sửa chữa và thêm trường hợp vào phần này. Sử dụng một cuộc gọi chức năng trong SUMMT ()Một lỗi phổ biến là gọi chức năng của bạn khi sử dụng chức năng SUBME ().submit() function. Ví dụ:
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.
Chạy ví dụ này sẽ thất bại với một lỗi.
Bạn có thể sửa lỗi bằng cách cập nhật cuộc gọi để gửi () để lấy tên của chức năng của bạn và bất kỳ đối số nào, thay vì gọi chức năng trong cuộc gọi để gửi.submit() to take the name of your function and any arguments, instead of calling the function in the call to submit. Ví dụ:
Sử dụng một cuộc gọi chức năng trong bản đồ ()Một lỗi phổ biến là gọi hàm của bạn khi sử dụng hàm map ().map() function. Ví dụ:
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.
Chạy ví dụ kết quả trong một kiểu mẫuTypeError
Forresult Un tasecutor.map (Task (), phạm vi (5)):map() to pass the name of the target task function instead of a call to the function.
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.# SuperfastPython.commap() is to provide no second argument to function, e.g. the iterable. Ví dụ:
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.
Chạy ví dụ kết quả trong một kiểu mẫumap() function to iterate over. Traceback (cuộc gọi gần đây nhất cuối cùng): TypeError: Task () Thiếu 1 Đối số vị trí bắt buộc: 'Giá trị'map() along with your function name.
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.# SuperfastPython.comFuture in the signature for the callback function registered with a Future object. Ví dụ:
Một ví dụ hoàn chỉnh với lỗi này được liệt kê dưới đây.
Traceback (cuộc gọi gần đây nhất cuối cùng):
Lỗi này có thể được sửa bằng cách thay đổi lệnh gọi đến map () để chuyển tên của hàm tác vụ đích thay vì gọi đến hàm.Future object.
từ đồng thời.# Nhiệm vụ tùy chỉnh sẽ ngủ trong một khoảng thời gian thay đổiThreadPoolExecutor. nhiệm vụ def (giá trị): Làm thế nào để bạn dừng một nhiệm vụ đang chạy?Một nhiệm vụ trong ThreadPoolExecutor có thể bị hủy trước khi nó bắt đầu chạy.ThreadPoolExecutor can be cancelled before it has started running. Trong trường hợp này, nhiệm vụ phải được gửi vào nhóm bằng cách gọi gửi (), trả về một đối tượng trong tương lai. Sau đó, bạn có thể gọi hàm hủy () trong tương lai.submit(), which returns a Future object. You can then call the cancel() function in the future. Nếu nhiệm vụ đã chạy, nó không thể bị hủy, dừng hoặc chấm dứt bởi nhóm luồng. Thay vào đó, bạn phải thêm chức năng này vào nhiệm vụ của bạn. Một cách tiếp cận có thể là sử dụng một lá cờ an toàn luồng, như một luồng.Event rằng, nếu được đặt, sẽ chỉ ra rằng tất cả các tác vụ phải ngừng chạy ngay khi chúng có thể. Sau đó, bạn có thể cập nhật chức năng hoặc chức năng tác vụ mục tiêu của mình để kiểm tra trạng thái của cờ này thường xuyên.threading.Event that, if set, will indicate that all tasks must stop running as soon as they can. You can then update your target task function or functions to check the state of this flag frequently. Nó có thể yêu cầu bạn thay đổi cấu trúc của nhiệm vụ của bạn. Ví dụ: nếu tác vụ của bạn đọc dữ liệu từ tệp hoặc ổ cắm, bạn có thể cần thay đổi thao tác đọc để được thực hiện trong các khối dữ liệu trong một vòng lặp để mỗi lần lặp của vòng lặp bạn có thể kiểm tra trạng thái của cờ. Ví dụ dưới đây cung cấp một mẫu bạn có thể sử dụng để thêm cờ sự kiện vào chức năng tác vụ mục tiêu của mình để kiểm tra điều kiện dừng để tắt tất cả các tác vụ đang chạy hiện đang chạy. Ví dụ dưới đây cho thấy điều này với một ví dụ làm việc.
Chạy ví dụ đầu tiên tạo ra một nhóm chủ đề với 5 luồng công nhân và lịch trình 50 nhiệm vụ. Một đối tượng sự kiện được tạo và chuyển cho mỗi nhiệm vụ nơi nó được kiểm tra từng lần lặp để xem nó đã được đặt và nếu có để bảo lãnh ra khỏi nhiệm vụ. 5 nhiệm vụ đầu tiên bắt đầu thực hiện trong vài giây, sau đó chúng tôi quyết định tắt mọi thứ. Đầu tiên, chúng tôi hủy tất cả các tác vụ theo lịch trình chưa chạy để nếu họ biến nó thành hàng đợi thành một chuỗi công nhân, họ sẽ không bắt đầu chạy. Sau đó, chúng tôi đánh dấu đặt sự kiện để kích hoạt tất cả các tác vụ đang chạy để dừng. Nhóm chủ đề sau đó được tắt và chúng tôi chờ tất cả các luồng chạy để hoàn thành việc thực thi của họ. Năm chủ đề đang chạy kiểm tra trạng thái của sự kiện trong vòng lặp vòng lặp tiếp theo của họ và bảo lãnh, in một tin nhắn.
Làm thế nào để bạn chờ đợi tất cả các nhiệm vụ hoàn thành?Có một vài cách để chờ tất cả các nhiệm vụ hoàn thành trong một ThreadPoolExecutor.ThreadPoolExecutor. Đầu tiên, nếu bạn có một đối tượng trong tương lai cho tất cả các tác vụ trong nhóm luồng vì bạn đã gọi là Substem (), thì bạn có thể cung cấp bộ sưu tập các tác vụ cho hàm mô -đun chờ (). Theo mặc định, chức năng này sẽ trở lại khi tất cả các đối tượng được cung cấp đã hoàn thành.Future object for all tasks in the thread pool because you called submit(), then you can provide the collection of tasks to the wait() module function. By default, this function will return when all provided Future objects have completed.
Ngoài ra, bạn có thể liệt kê danh sách các đối tượng trong tương lai và cố gắng nhận kết quả từ mỗi đối tượng. Việc lặp lại này sẽ hoàn thành khi tất cả các kết quả có sẵn có nghĩa là tất cả các nhiệm vụ đã được hoàn thành.Future objects and attempt to get the result from each. This iteration will complete when all results are available meaning that all tasks were completed.
in ('Trigger tất cả các tác vụ đang chạy để dừng ...')cancel_futures” to True, which will cancel all scheduled tasks and wait for all currently running tasks to complete.
Bạn cũng có thể đóng cửa hồ bơi và không hủy bỏ các nhiệm vụ theo lịch trình, nhưng vẫn chờ tất cả các nhiệm vụ hoàn thành. Điều này sẽ đảm bảo tất cả các nhiệm vụ chạy và theo lịch trình được hoàn thành trước khi chức năng trả về. Đây là hành vi mặc định của hàm tắt (), nhưng là một ý tưởng tốt để chỉ định rõ ràng.shutdown() function, but is a good idea to specify explicitly.
Làm thế nào để bạn tự động thay đổi số lượng chủ đề?Bạn không thể tự động tăng hoặc giảm số lượng chủ đề trong ThreadPoolExecutor.ThreadPoolExecutor. Số lượng luồng được cố định khi ThreadPoolExecutor được cấu hình trong lệnh gọi đến Trình xây dựng đối tượng. Ví dụ:ThreadPoolExecutor is configured in the call to the object constructor. For example:
Làm thế nào để bạn đăng nhập từ một nhiệm vụ?Các chức năng tác vụ mục tiêu của bạn được thực hiện bởi các luồng công nhân trong nhóm luồng và bạn có thể lo ngại liệu việc đăng nhập từ các chức năng tác vụ đó có an toàn cho luồng hay không. Đó là, nhật ký sẽ bị hỏng nếu hai luồng cố gắng cùng một lúc. Câu trả lời là không, nhật ký sẽ không bị hỏng. Chức năng ghi nhật ký Python là an toàn theo luồng theo mặc định. Ví dụ: xem trích dẫn này từ tài liệu API mô -đun đăng nhập:
Do đó, bạn có thể đăng nhập từ các chức năng tác vụ mục tiêu của mình trực tiếp. Làm thế nào để bạn các nhiệm vụ đơn vị và nhóm chủ đề?Bạn có thể trực tiếp kiểm tra các chức năng tác vụ mục tiêu của mình, có thể chế giễu mọi tài nguyên bên ngoài cần thiết. Bạn có thể kiểm tra đơn vị sử dụng nhóm luồng của bạn với các tác vụ giả không tương tác với các tài nguyên bên ngoài. Kiểm tra đơn vị các tác vụ và bản thân nhóm luồng phải được coi là một phần của thiết kế của bạn và có thể yêu cầu kết nối đó với tài nguyên IO có thể định cấu hình để nó có thể bị chế giễu và chức năng tác vụ đích được gọi là nhóm chủ đề của bạn có thể cấu hình để có thể định cấu hình Nó có thể bị chế giễu. Làm thế nào để bạn so sánh hiệu suất nối tiếp với hiệu suất song song?Bạn có thể so sánh hiệu suất của chương trình của bạn có và không có nhóm chủ đề. Đây có thể là một bài tập hữu ích để xác nhận rằng việc sử dụng ThreadPoolExecutor trong chương trình của bạn đã dẫn đến tăng tốc.ThreadPoolExecutor in your program has resulted in a speed-up. Có lẽ cách tiếp cận đơn giản nhất là ghi lại thủ công thời gian bắt đầu và kết thúc của mã của bạn và trừ kết thúc từ thời gian bắt đầu để báo cáo tổng thời gian thực hiện. Sau đó ghi lại thời gian có và không có việc sử dụng nhóm luồng.
Sử dụng thời gian thực hiện chương trình trung bình có thể cung cấp thời gian chương trình ổn định hơn so với chạy một lần. Bạn có thể ghi lại thời gian thực hiện 3 lần trở lên cho chương trình của mình mà không cần nhóm luồng sau đó tính trung bình khi tổng thời gian chia cho tổng số lần chạy. Sau đó lặp lại bài tập này để tính thời gian trung bình với nhóm luồng. Điều này có thể chỉ phù hợp nếu thời gian chạy của chương trình của bạn là vài phút thay vì hàng giờ. Sau đó, bạn có thể so sánh phiên bản nối tiếp so với song song bằng cách tính toán tốc độ tăng lên nhiều như:
Ví dụ: nếu lần chạy nối tiếp của một chương trình mất 15 phút (900 giây) và phiên bản song song với một ThreadPoolExecutor mất 5 phút (300 giây), thì tỷ lệ phần trăm sẽ được tính như:ThreadPoolExecutor took 5 minutes (300 seconds), then the percentage multiple up would be calculated as:
Tăng tốc nhiều = 3ThreadPoolExecutor is 3 times faster or 3x faster. Đó là, phiên bản song song của chương trình với ThreadPoolExecutor nhanh hơn gấp 3 lần hoặc nhanh hơn gấp 3 lần.
Tỷ lệ phần trăm tăng tốc = tăng tốc độ tăng tốc * 100 Trong ví dụ này, phiên bản song song nhanh hơn 300% so với phiên bản nối tiếp.Làm thế nào để bạn đặt Chunksize trong bản đồ ()?map() function on the ThreadPoolExecutor takes a parameter called “chunksize” which defaults to 1. Hàm bản đồ () trên ThreadPoolExecutor lấy một tham số có tên là Chunksize, mặc định là mặc định là 1.ThreadPoolExecutor; it is only used by the ProcessPoolExecutor, therefore you can safely ignore it. Đặt tham số này không làm gì khi sử dụng ThreadPoolExecutor.ThreadPoolExecutor. Làm thế nào để bạn gửi một nhiệm vụ tiếp theo?Một số nhiệm vụ yêu cầu một nhiệm vụ thứ hai được thực hiện sử dụng kết quả từ nhiệm vụ đầu tiên theo một cách nào đó. Chúng tôi có thể gọi đây là nhu cầu thực hiện một nhiệm vụ tiếp theo cho mỗi nhiệm vụ được gửi, có thể có điều kiện theo một cách nào đó. Có một vài cách để gửi một nhiệm vụ tiếp theo. Một cách tiếp cận sẽ là gửi nhiệm vụ tiếp theo vì chúng tôi đang xử lý kết quả từ nhiệm vụ đầu tiên. Ví dụ: chúng ta có thể xử lý kết quả từ mỗi tác vụ đầu tiên khi chúng hoàn thành, sau đó gọi thủ công () cho mỗi nhiệm vụ tiếp theo khi cần và lưu trữ đối tượng mới trong tương lai trong danh sách thứ hai để sử dụng sau. Chúng ta có thể làm ví dụ này về việc gửi các nhiệm vụ tiếp theo cụ thể với một ví dụ đầy đủ.
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;# & nbsp; & nbsp; & nbsp; & nbsp;# chờ cho tất cả các nhiệm vụ tiếp theo để hoàn thànhFuture object in a second list. Chạy ví dụ bắt đầu một nhóm chủ đề với 5 luồng công nhân và gửi 10 nhiệm vụ.as_completed() function with a list of Future objects. Sau đó chúng tôi xử lý kết quả cho các nhiệm vụ khi chúng được hoàn thành. Nếu kết quả từ vòng đầu tiên của các tác vụ yêu cầu một nhiệm vụ tiếp theo, chúng tôi gửi nhiệm vụ tiếp theo và theo dõi đối tượng trong tương lai trong danh sách thứ hai.
Nhiệm vụ 2: Value1 = 0.5627604576510364, Value2 = 0.859736361909423 Nhiệm vụ 2: Value1 = 0.9916368220002719, Value2 = 0.6420604763057 Bạn có thể muốn sử dụng một nhóm luồng riêng cho các nhiệm vụ tiếp theo, để giữ mọi thứ riêng biệt. Tôi không khuyên bạn nên gửi các nhiệm vụ mới từ trong một nhiệm vụ.Điều này sẽ yêu cầu truy cập vào nhóm luồng như là một biến toàn cầu hoặc bằng cách được chuyển vào và sẽ phá vỡ ý tưởng về các nhiệm vụ là các chức năng thuần túy mà don don có tác dụng phụ, một thực tiễn tốt khi sử dụng các nhóm luồng.ThreadPoolExecutor. Làm thế nào để bạn lưu trữ trạng thái địa phương cho mỗi chủ đề? Bạn có thể sử dụng các biến cục bộ cho các chủ đề công nhân trong ThreadPoolExecutor. Một mẫu phổ biến sẽ là sử dụng chức năng khởi tạo tùy chỉnh cho mỗi luồng công nhân để thiết lập một biến vị trí cụ thể cho mỗi luồng công nhân. Các biến cục bộ này sau đó có thể được sử dụng bởi mỗi luồng trong mỗi tác vụ, yêu cầu nhiệm vụ phải nhận thức được cơ chế cục bộ luồng.
Sau đó, chúng ta có thể xác định chức năng tác vụ mục tiêu của mình để lấy cùng một bối cảnh cục bộ và truy cập biến cục bộ của luồng cho luồng công nhân và sử dụng nó.
Sau đó, chúng tôi có thể định cấu hình phiên bản ThreadPoolExecutor mới của chúng tôi để sử dụng trình khởi tạo với đối số cục bộ cần thiết.ThreadPoolExecutor instance to use the initializer with the required local argument.
Sau đó gửi các tác vụ vào nhóm chủ đề với cùng một bối cảnh cục bộ.
# Tạo một nhóm chủ đềThreadPoolExecutor with thread local storage is listed below.
Kết hợp điều này lại với nhau, ví dụ hoàn chỉnh về việc sử dụng ThreadPoolExecutor với lưu trữ cục bộ được liệt kê bên dưới. # SuperfastPython.com
từ đồng thời.từ đồng thời.ThreadPoolExecutor. # Đợi tất cả các luồng hoàn thànhadd_done_callback() function. Infutures forfuture: # Tắt máy nhóm chủ đề
Chạy ví dụ bắt đầu một nhóm chủ đề với hai luồng công nhân và gửi 20 nhiệm vụ. Chức năng gọi lại chỉ báo tiến trình được đăng ký với mỗi đối tượng trong tương lai in một dấu chấm khi mỗi tác vụ được hoàn thành, đảm bảo rằng đầu ra tiêu chuẩn được xóa với mỗi cuộc gọi để in () và không có dòng mới nào được in.Future object that prints one dot as each task is completed, ensuring that the standard output is flushed with each call to print() and that no new line is printed. Điều này đảm bảo rằng mỗi chúng ta thấy dấu chấm ngay lập tức bất kể luồng in và tất cả các dấu chấm xuất hiện trên một dòng. Mỗi nhiệm vụ sẽ hoạt động trong một khoảng thời gian thay đổi ít hơn một giây và một dấu chấm được in sau khi nhiệm vụ được hoàn thành.
Một chỉ số tiến độ phức tạp hơn phải biết tổng số tác vụ và sẽ sử dụng bộ đếm an toàn chủ đề để cập nhật trạng thái của số lượng nhiệm vụ được hoàn thành trong tất cả các nhiệm vụ sẽ được hoàn thành. Chúng ta có cần phải kiểm tra __main__ không?Bạn không cần phải kiểm tra __main__ khi sử dụng ThreadPoolExecutor.__main__ when using the ThreadPoolExecutor. Bạn cần kiểm tra __main__ khi sử dụng phiên bản quy trình của nhóm, được gọi là ProcessPoolExecutor. Đây có thể là nguồn gốc của sự nhầm lẫn.__main__ when using the Process version of the pool, called a ProcessPoolExecutor. This may be the source of confusion. Làm thế nào để bạn có được một đối tượng trong tương lai cho các tác vụ được thêm vào bản đồ ()?Khi bạn gọi bản đồ (), nó sẽ tạo ra một đối tượng trong tương lai cho mỗi nhiệm vụ.map(), it does create a Future object for each task. Trong nội bộ, gửi () được gọi cho mỗi mục trong số lượng được cung cấp cho cuộc gọi đến MAP ().submit() is called for each item in the iterable provided to the call to map(). Tuy nhiên, không có cách nào rõ ràng để truy cập đối tượng trong tương lai cho các tác vụ được gửi vào nhóm luồng thông qua bản đồ ().Future object for tasks sent into the thread pool via map(). Mỗi tác vụ trên hàng đợi công việc nội bộ của rentpoolExecutor đối tượng là một ví dụ của _workItem có tham chiếu đến đối tượng trong tương lai cho nhiệm vụ. Bạn có thể truy cập vào hàng đợi nội bộ của đối tượng ThreadPoolExecutor, nhưng bạn không có cách nào an toàn để liệt kê các mục trong hàng đợi mà không xóa chúng.ThreadPoolExecutor object’s internal work queue is an instance of a _WorkItem that does have a reference to the Future object for the task. You can access the ThreadPoolExecutor object’s internal queue, but you have no safe way of enumerating items in the queue without removing them. Nếu bạn cần một đối tượng trong tương lai cho một nhiệm vụ, hãy gọi hãy gửi ().Future object for a task, call submit(). Tôi có thể gọi Shutdown () từ trong Trình quản lý ngữ cảnh không?Bạn có thể gọi Shutdown () trong Trình quản lý ngữ cảnh, nhưng không có nhiều trường hợp sử dụng.shutdown() within the context manager, but there are not many use cases. Nó không gây ra lỗi mà tôi có thể thấy. Bạn có thể muốn gọi Shutdown () rõ ràng nếu bạn muốn hủy tất cả các tác vụ theo lịch trình và bạn không có quyền truy cập vào các đối tượng trong tương lai và bạn muốn làm sạch khác trước khi chờ tất cả các tác vụ chạy dừng lại.shutdown() explicitly if you wish to cancel all scheduled tasks and you don’t have access to the Future objects, and you wish to do other clean-up before waiting for all running tasks to stop. Sẽ thật kỳ lạ nếu bạn thấy mình trong tình huống này. Tuy nhiên, đây là một ví dụ về việc gọi tắt () từ trong Trình quản lý ngữ cảnh.shutdown() from within the context manager.
Chạy ví dụ bắt đầu một nhóm luồng với một luồng công nhân và sau đó gửi trong mười tác vụ để thực thi. Sau đó, chúng tôi gọi tắt rõ ràng việc tắt máy vào nhóm luồng và hủy tất cả các nhiệm vụ theo lịch trình mà không cần chờ đợi. Sau đó chúng tôi thoát khỏi Trình quản lý bối cảnh và chờ tất cả các tác vụ hoàn thành. Việc tắt máy thứ hai này hoạt động như mong đợi, chờ đợi một nhiệm vụ chạy hoàn thành trước khi quay lại.
Phản đối phổ biến khi sử dụng ThreadPoolExecutorThreadPoolExecutor có thể không phải là giải pháp tốt nhất cho tất cả các vấn đề đa đọc trong chương trình của bạn.ThreadPoolExecutor may not be the best solution for all multithreading problems in your program. Điều đó đang được nói, cũng có thể có một số hiểu lầm đang ngăn bạn sử dụng đầy đủ và tốt nhất các khả năng của ThreadPoolExecutor trong chương trình của bạn.ThreadPoolExecutor in your program. Trong phần này, chúng tôi xem xét một số phản đối phổ biến được các nhà phát triển thấy khi xem xét sử dụng ThreadPoolExecutor trong mã của họ.ThreadPoolExecutor in their code. Điều gì về khóa phiên dịch toàn cầu (GIL)?Khóa thông dịch viên toàn cầu, hoặc ngắn hoàn toàn là Gil, là một quyết định thiết kế với trình thông dịch Python tham chiếu. Nó đề cập đến thực tế là việc triển khai trình thông dịch Python sử dụng khóa chính để ngăn chặn nhiều hơn một hướng dẫn Python thực thi cùng một lúc. Điều này ngăn chặn nhiều hơn một luồng thực thi trong các chương trình Python, cụ thể trong mỗi quy trình Python, đó là mỗi trường hợp của trình thông dịch Python. Việc thực hiện GIL có nghĩa là các luồng python có thể đồng thời, nhưng không thể chạy song song. Hãy nhớ lại rằng đồng thời có nghĩa là có nhiều hơn một nhiệm vụ có thể được tiến hành cùng một lúc; song song có nghĩa là nhiều hơn một nhiệm vụ thực sự thực hiện cùng một lúc. Các nhiệm vụ song song là đồng thời, các nhiệm vụ đồng thời có thể hoặc không thể thực hiện song song. Đó là lý do đằng sau heuristic mà các chủ đề Python chỉ nên được sử dụng cho các nhiệm vụ ràng buộc IO, chứ không phải các nhiệm vụ liên kết CPU, vì các nhiệm vụ ràng buộc IO sẽ chờ trong hạt nhân hệ điều hành để các tài nguyên từ xa phản hồi (không thực hiện các hướng dẫn Python) , cho phép các chủ đề Python khác chạy và thực hiện các hướng dẫn Python. Nói cách khác, GIL không có nghĩa là chúng ta không thể sử dụng các chủ đề trong Python, chỉ có một số trường hợp sử dụng cho các chủ đề Python là khả thi hoặc phù hợp. Quyết định thiết kế này được đưa ra trong quá trình thực hiện tham chiếu của phiên dịch Python (từ Python.org), nhưng có thể không tác động đến các phiên dịch viên khác (như Pypy, Iron Python và Jython) cho phép nhiều hướng dẫn Python được thực hiện đồng thời và song song. Bạn có thể tìm hiểu thêm về chủ đề này ở đây:
Có phải chủ đề Python có phải là chủ đề thực tế không?Yes. Python sử dụng các chủ đề cấp hệ thống thực, còn được gọi là chủ đề cấp kernel, khả năng được cung cấp bởi các hệ điều hành hiện đại như Windows, Linux và MacOS. Chủ đề Python không phải là chủ đề cấp phần mềm, đôi khi được gọi là chủ đề cấp độ người dùng hoặc luồng màu xanh lá cây. Aren sắt python chủ đề lỗi?No. Chủ đề Python không phải là lỗi. Python Threading là khả năng hạng nhất của nền tảng Python và đã được một thời gian rất dài. Có phải là Python Python là một lựa chọn tồi cho sự đồng thời?Các nhà phát triển yêu thích Python vì nhiều lý do, phổ biến nhất là vì nó dễ sử dụng và nhanh chóng để phát triển. Python thường được sử dụng cho mã keo, tập lệnh một lần, nhưng ngày càng nhiều cho các hệ thống phần mềm quy mô lớn. Nếu bạn đang sử dụng Python và sau đó bạn cần đồng thời, thì bạn làm việc với những gì bạn có. Câu hỏi là moot. Nếu bạn cần đồng thời và bạn chưa chọn ngôn ngữ, có lẽ một ngôn ngữ khác sẽ phù hợp hơn, hoặc có lẽ không. Xem xét phạm vi đầy đủ của các yêu cầu chức năng và phi chức năng (hoặc nhu cầu, mong muốn và mong muốn của người dùng) cho dự án của bạn và khả năng của các nền tảng phát triển khác nhau. Tại sao không luôn luôn sử dụng ProcessPoolExecutor thay thế?ProcessPoolExecutor hỗ trợ nhóm các quy trình, không giống như ThreadPoolExecutor hỗ trợ nhóm các luồng.ProcessPoolExecutor supports pools of processes, unlike the ThreadPoolExecutor that supports pools of threads. Chủ đề và quy trình khá khác nhau và chọn cái này là cố ý. Một chương trình Python là một quá trình có chủ đề chính. Bạn có thể tạo nhiều luồng bổ sung trong một quy trình Python. Bạn cũng có thể nĩa hoặc sinh ra nhiều quy trình Python, mỗi quy trình sẽ có một luồng và có thể sinh ra các luồng bổ sung. Nhìn rộng hơn, các luồng nhẹ và có thể chia sẻ bộ nhớ (dữ liệu và biến) trong một quy trình, trong khi các quá trình là nặng và yêu cầu chi phí cao hơn và áp đặt nhiều giới hạn hơn trong việc chia sẻ bộ nhớ (dữ liệu và biến). Thông thường, các quy trình được sử dụng cho các nhiệm vụ và luồng liên kết CPU được sử dụng cho các nhiệm vụ gắn IO, và đây là một heuristic tốt, nhưng điều này không phải là trường hợp. Có lẽ ProcessPoolExecutor là phù hợp hơn cho vấn đề cụ thể của bạn. Có lẽ hãy thử nó và xem.ProcessPoolExecutor is a better fit for your specific problem. Perhaps try it and see. Bạn có thể tìm hiểu thêm về chủ đề này ở đây:
Có phải chủ đề Python có phải là chủ đề thực tế không?Python sử dụng các chủ đề cấp hệ thống thực, còn được gọi là chủ đề cấp kernel, khả năng được cung cấp bởi các hệ điều hành hiện đại như Windows, Linux và MacOS.ThreadPoolExecutor is like the “auto mode” for Python threading. Chủ đề Python không phải là chủ đề cấp phần mềm, đôi khi được gọi là chủ đề cấp độ người dùng hoặc luồng màu xanh lá cây.threading.Thread class directly. Aren sắt python chủ đề lỗi? Chủ đề Python không phải là lỗi. Python Threading là khả năng hạng nhất của nền tảng Python và đã được một thời gian rất dài.Thread class with the target keyword for pure functions (functions that don’t have side effects), perhaps you would be better suited to using the ThreadPoolExecutor. Bạn có thể tìm hiểu thêm về chủ đề này ở đây:
Tại sao không sử dụng asyncio?Asyncio có thể là một giải pháp thay thế cho việc sử dụng ThreadPoolExecutor.ThreadPoolExecutor. Asyncio được thiết kế để hỗ trợ số lượng lớn các hoạt động IO, có lẽ hàng chục ngàn đến hàng chục ngàn, tất cả trong một luồng. Nó đòi hỏi một mô hình lập trình thay thế, được gọi là lập trình phản ứng, có thể là thách thức cho người mới bắt đầu. Tuy nhiên, nó có thể là một sự thay thế tốt hơn để sử dụng một nhóm chủ đề cho nhiều ứng dụng. Bạn có thể tìm hiểu thêm về chủ đề này ở đây:
Đọc thêmPhần này liệt kê các tài nguyên bổ sung hữu ích về chủ đề này. Sách
API
Người giới thiệu
Kết luậnĐây là một hướng dẫn lớn và bạn đã phát hiện ra rất chi tiết về cách thức hoạt động của ThreadPoolExecutor và cách sử dụng tốt nhất trong dự án của bạn.ThreadPoolExecutor works and how to best use it on your project. Bạn có thấy hướng dẫn này hữu ích không? Tôi rất thích biết, xin vui lòng chia sẻ một từ tử tế trong các bình luận dưới đây. Bạn đã sử dụng ThreadPoolExecutor trong một dự án chưa? Tôi rất thích nghe về nó, xin vui lòng cho tôi biết trong các bình luận. Bạn có câu hỏi nào không? Để lại câu hỏi của bạn trong một bình luận bên dưới và tôi sẽ trả lời nhanh với lời khuyên tốt nhất của tôi. |
