Tôi có nên sử dụng năng suất trong Python không?

ví dụ 1. Đọc các tệp lớn

Trường hợp sử dụng phổ biến của trình tạo là hoạt động với luồng dữ liệu hoặc tệp lớn, chẳng hạn như tệp CSV. Các tệp văn bản này phân tách dữ liệu thành các cột bằng cách sử dụng dấu phẩy. Định dạng này là một cách phổ biến để chia sẻ dữ liệu. Bây giờ, nếu bạn muốn đếm số hàng trong tệp CSV thì sao?

csv_gen = csv_reader("some_csv.txt")
row_count = 0

for row in csv_gen:
    row_count += 1

print(f"Row count is {row_count}")

Nhìn vào ví dụ này, bạn có thể mong đợi

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

Đây là một lời giải thích hợp lý, nhưng thiết kế này vẫn hoạt động nếu tệp rất lớn?

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Hàm này mở một tệp đã cho và sử dụng

Row count is 64186394

Row count is 64186394

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

>>>

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Trong trường hợp này,

Row count is 64186394

Row count is 64186394

Row count is 64186394

Trước khi điều đó xảy ra, có thể bạn sẽ nhận thấy máy tính của mình chậm thu thập thông tin. Bạn thậm chí có thể cần phải tắt chương trình bằng một

Row count is 64186394

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

Trong phiên bản này, bạn mở tệp, lặp qua nó và tạo ra một hàng. Mã này sẽ tạo đầu ra sau, không có lỗi bộ nhớ

Row count is 64186394

Điều gì đang xảy ra ở đây? . Phiên bản này mở một tệp, lặp qua từng dòng và tạo ra từng hàng thay vì trả về

Bạn cũng có thể xác định biểu thức trình tạo (còn được gọi là mức hiểu trình tạo), có cú pháp rất giống với mức hiểu danh sách. Bằng cách này, bạn có thể sử dụng trình tạo mà không cần gọi hàm

csv_gen = (row for row in open(file_name))

Đây là một cách ngắn gọn hơn để tạo danh sách

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

• Sử dụng

  csv_gen = (row for row in open(file_name))
  

  0 sẽ dẫn đến một đối tượng trình tạo
• Sử dụng

  csv_gen = (row for row in open(file_name))
  

  1 sẽ chỉ dẫn đến dòng đầu tiên của tệp

ví dụ 2. Tạo một chuỗi vô hạn

Hãy chuyển bánh răng và xem xét việc tạo chuỗi vô hạn. Trong Python, để có được một dãy hữu hạn, bạn gọi

csv_gen = (row for row in open(file_name))

>>>

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

Tuy nhiên, việc tạo một chuỗi vô hạn sẽ yêu cầu sử dụng trình tạo, vì bộ nhớ máy tính của bạn là hữu hạn

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

Khối mã này ngắn và hấp dẫn. Đầu tiên, bạn khởi tạo biến

csv_gen = (row for row in open(file_name))

csv_gen = (row for row in open(file_name))

csv_gen = (row for row in open(file_name))

Sau

csv_gen = (row for row in open(file_name))

csv_gen = (row for row in open(file_name))

csv_gen = (row for row in open(file_name))

>>>

>>> for i in infinite_sequence():
..     print(i, end=" ")
...
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
30 31 32 33 34 35 36 37 38 39 40 41 42
[...]
6157818 6157819 6157820 6157821 6157822 6157823 6157824 6157825 6157826 6157827
6157828 6157829 6157830 6157831 6157832 6157833 6157834 6157835 6157836 6157837
6157838 6157839 6157840 6157841 6157842
KeyboardInterrupt
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>

Chương trình sẽ tiếp tục thực thi cho đến khi bạn dừng chương trình theo cách thủ công

Thay vì sử dụng vòng lặp

csv_gen = (row for row in open(file_name))

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

>>>

>>> gen = infinite_sequence()
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
3

Ở đây, bạn có một trình tạo có tên là

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

Ghi chú. Khi bạn sử dụng

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

ví dụ 3. Phát hiện Palindromes

Bạn có thể sử dụng các chuỗi vô hạn theo nhiều cách, nhưng một cách sử dụng thực tế cho chúng là xây dựng các máy dò palindrome. Máy dò bảng màu sẽ định vị tất cả các chuỗi chữ cái hoặc số là bảng màu. Đây là những từ hoặc số được đọc xuôi và ngược giống nhau, chẳng hạn như 121. Đầu tiên, xác định trình phát hiện palindrome số của bạn

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Đừng lo lắng quá nhiều về việc hiểu toán học cơ bản trong mã này. Chỉ cần lưu ý rằng hàm lấy một số đầu vào, đảo ngược nó và kiểm tra xem liệu số được đảo ngược có giống với số ban đầu không. Giờ đây, bạn có thể sử dụng trình tạo chuỗi vô hạn của mình để nhận danh sách đang chạy của tất cả các đối xứng số

>>>

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Trong trường hợp này, các số duy nhất được in ra bảng điều khiển là những số tiến hoặc lùi giống nhau

Ghi chú. Trong thực tế, bạn không thể viết trình tạo chuỗi vô hạn của riêng mình. Mô-đun

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

Bây giờ bạn đã thấy một trường hợp sử dụng đơn giản cho trình tạo chuỗi vô hạn, hãy tìm hiểu sâu hơn về cách trình tạo hoạt động

Xây dựng trình tạo với biểu thức trình tạo

Giống như khả năng hiểu danh sách, các biểu thức trình tạo cho phép bạn nhanh chóng tạo một đối tượng trình tạo chỉ trong một vài dòng mã. Chúng cũng hữu ích trong các trường hợp tương tự khi sử dụng tính năng hiểu danh sách, với một lợi ích bổ sung. bạn có thể tạo chúng mà không cần xây dựng và giữ toàn bộ đối tượng trong bộ nhớ trước khi lặp lại. Nói cách khác, bạn sẽ không bị phạt bộ nhớ khi sử dụng các biểu thức trình tạo. Lấy ví dụ này về bình phương một số số

>>>

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Cả

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

>>>

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Đối tượng đầu tiên sử dụng dấu ngoặc để tạo danh sách, trong khi đối tượng thứ hai tạo biểu thức trình tạo bằng cách sử dụng dấu ngoặc đơn. Đầu ra xác nhận rằng bạn đã tạo một đối tượng trình tạo và nó khác với danh sách

Hồ sơ hiệu suất máy phát điện

Trước đó bạn đã biết rằng trình tạo là một cách tuyệt vời để tối ưu hóa bộ nhớ. Mặc dù trình tạo chuỗi vô hạn là một ví dụ cực đoan về sự tối ưu hóa này, hãy mở rộng các ví dụ về bình phương số mà bạn vừa thấy và kiểm tra kích thước của các đối tượng kết quả. Bạn có thể làm điều này với một cuộc gọi đến

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

>>>

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Trong trường hợp này, danh sách bạn nhận được từ việc hiểu danh sách là 87.624 byte, trong khi đối tượng trình tạo chỉ là 120. Điều này có nghĩa là danh sách lớn hơn 700 lần so với đối tượng trình tạo

Có một điều cần ghi nhớ, mặc dù. Nếu danh sách nhỏ hơn bộ nhớ khả dụng của máy đang chạy, thì khả năng hiểu danh sách có thể lớn hơn biểu thức trình tạo tương đương. Để khám phá điều này, hãy tổng hợp các kết quả từ hai cách hiểu trên. Bạn có thể tạo kết quả đọc với

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

>>>

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Tại đây, bạn có thể thấy rằng việc tính tổng tất cả các giá trị trong phần hiểu danh sách mất khoảng một phần ba thời gian so với tính tổng trên trình tạo. Nếu tốc độ là một vấn đề còn bộ nhớ thì không, thì khả năng hiểu danh sách có thể là một công cụ tốt hơn cho công việc

Ghi chú. Các phép đo này không chỉ hợp lệ đối với các đối tượng được tạo bằng biểu thức trình tạo. Chúng cũng giống nhau đối với các đối tượng được tạo từ hàm trình tạo tương tự vì các trình tạo kết quả là tương đương

Hãy nhớ rằng, việc hiểu danh sách trả về danh sách đầy đủ, trong khi biểu thức trình tạo trả về trình tạo. Trình tạo hoạt động giống nhau cho dù chúng được tạo từ hàm hay biểu thức. Sử dụng một biểu thức chỉ cho phép bạn xác định các trình tạo đơn giản trong một dòng, với một ____23_______0 giả định ở cuối mỗi lần lặp bên trong

Tuyên bố năng suất Python chắc chắn là mấu chốt mà tất cả các chức năng của trình tạo dựa vào, vì vậy, hãy đi sâu vào cách thức hoạt động của

csv_gen = (row for row in open(file_name))

Cách sử dụng >>> gen = infinite_sequence() >>> next(gen) 0 >>> next(gen) 1 >>> next(gen) 2 >>> next(gen) 3 9

Đối với phần tiếp theo này, bạn sẽ xây dựng một chương trình sử dụng cả ba phương pháp. Chương trình này sẽ in các bảng chữ số như trước đây, nhưng với một vài điều chỉnh. Khi gặp một bảng màu, chương trình mới của bạn sẽ thêm một chữ số và bắt đầu tìm kiếm chữ số tiếp theo từ đó. Bạn cũng sẽ xử lý các trường hợp ngoại lệ với

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Đây là mã giống như bạn đã thấy trước đó, ngoại trừ việc bây giờ chương trình trả về nghiêm ngặt

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Có rất nhiều thay đổi ở đây. Cái đầu tiên bạn sẽ thấy nằm ở dòng 5, trong đó

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

csv_gen = (row for row in open(file_name))

Kể từ Python 2. 5 (cùng một bản phát hành đã giới thiệu các phương pháp mà bạn đang tìm hiểu bây giờ),

csv_gen = (row for row in open(file_name))

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

>>> gen = infinite_sequence()
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
3

csv_gen = (row for row in open(file_name))

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Bạn cũng sẽ kiểm tra

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

csv_gen = (row for row in open(file_name))

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

csv_gen = (row for row in open(file_name))

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

csv_gen = (row for row in open(file_name))

Bây giờ, hãy xem mã chức năng chính, mã này sẽ gửi số thấp nhất có chữ số khác trở lại trình tạo. Ví dụ, nếu palindrome là 121, thì nó sẽ

>>> gen = infinite_sequence()
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
3

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Với mã này, bạn tạo đối tượng trình tạo và lặp qua nó. Chương trình chỉ mang lại một giá trị sau khi tìm thấy một bảng màu. Nó sử dụng

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

csv_gen = (row for row in open(file_name))

Khi mã của bạn tìm thấy và tạo ra một bảng màu khác, bạn sẽ lặp qua vòng lặp

csv_gen = (row for row in open(file_name))

>>> a = range(5)
>>> list(a)
[0, 1, 2, 3, 4]

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Những gì bạn đã tạo ở đây là một coroutine hoặc một hàm tạo mà bạn có thể truyền dữ liệu vào đó. Chúng rất hữu ích để xây dựng các đường dẫn dữ liệu, nhưng như bạn sẽ sớm thấy, chúng không cần thiết để xây dựng chúng. (Nếu bạn đang muốn tìm hiểu sâu hơn, thì khóa học về coroutine và đồng thời này là một trong những phương pháp điều trị toàn diện nhất hiện có. )

Bây giờ bạn đã học về

>>> gen = infinite_sequence()
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
3

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Cách sử dụng def csv_reader(file_name): file = open(file_name) result = file.read().split("\n") return result 00

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Mã này giống với mã trước, nhưng bây giờ bạn sẽ kiểm tra xem

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

>>>

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Cách sử dụng def csv_reader(file_name): file = open(file_name) result = file.read().split("\n") return result 01

Đúng như tên gọi của nó,

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Thay vì gọi

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

>>> gen = infinite_sequence()
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
3

>>>

Traceback (most recent call last):
  File "ex1_naive.py", line 22, in <module>
    main()
  File "ex1_naive.py", line 13, in main
    csv_gen = csv_reader("file.txt")
  File "ex1_naive.py", line 6, in csv_reader
    result = file.read().split("\n")
MemoryError

Bây giờ bạn đã tìm hiểu thêm về các phương pháp đặc biệt đi kèm với trình tạo, hãy nói về việc sử dụng trình tạo để xây dựng đường dẫn dữ liệu