Hướng dẫn can python access memory directly? - python có thể truy cập bộ nhớ trực tiếp không?

Bộ nhớ là một cuốn sách trống

Bạn có thể bắt đầu bằng cách nghĩ về bộ nhớ máy tính như một cuốn sách trống dành cho truyện ngắn. Không có gì viết trên các trang. Cuối cùng, các tác giả khác nhau sẽ đi cùng. Mỗi tác giả muốn một số không gian để viết câu chuyện của họ vào.

Vì họ không được phép viết thư cho nhau, họ phải cẩn thận về những trang họ viết. Trước khi họ bắt đầu viết, họ tham khảo ý kiến ​​người quản lý của cuốn sách. Người quản lý sau đó quyết định nơi nào trong cuốn sách mà họ cho phép viết.

Vì cuốn sách này là khoảng thời gian dài, nhiều câu chuyện trong đó không còn liên quan. Khi không ai đọc hoặc tham khảo các câu chuyện, họ sẽ được gỡ bỏ để nhường chỗ cho những câu chuyện mới.

Về bản chất, bộ nhớ máy tính giống như cuốn sách trống. Trên thực tế, nó phổ biến để gọi các khối bộ nhớ có độ dài có độ dài cố định, do đó, sự tương tự này được giữ khá tốt.pages, so this analogy holds pretty well.

Các tác giả giống như các ứng dụng hoặc quy trình khác nhau cần lưu trữ dữ liệu trong bộ nhớ. Người quản lý, người quyết định nơi các tác giả có thể viết trong cuốn sách, đóng vai trò là người quản lý bộ nhớ của các loại. Người đã loại bỏ những câu chuyện cũ để nhường chỗ cho những người mới là một người thu gom rác.

Quản lý bộ nhớ: Từ phần cứng đến phần mềm

Quản lý bộ nhớ là quá trình mà các ứng dụng đọc và ghi dữ liệu. Trình quản lý bộ nhớ xác định nơi đặt dữ liệu ứng dụng. Vì có một đoạn bộ nhớ hữu hạn, giống như các trang trong cuốn sách tương tự của chúng tôi, người quản lý phải tìm một số không gian trống và cung cấp nó cho ứng dụng. Quá trình cung cấp bộ nhớ này thường được gọi là phân bổ bộ nhớ.allocation.

Mặt khác, khi dữ liệu không còn cần thiết, nó có thể bị xóa hoặc được giải phóng. Nhưng được giải phóng đến đâu? Bộ nhớ này đến từ đâu?freed. But freed to where? Where did this “memory” come from?

Ở đâu đó trong máy tính của bạn, có một thiết bị vật lý lưu trữ dữ liệu khi bạn đang chạy các chương trình Python của mình. Có nhiều lớp trừu tượng mà mã Python đi qua trước khi các đối tượng thực sự đi đến phần cứng.

Một trong những lớp chính phía trên phần cứng (như RAM hoặc ổ cứng) là hệ điều hành (HĐH). Nó thực hiện (hoặc từ chối) các yêu cầu để đọc và ghi bộ nhớ.

Trên HĐH, có các ứng dụng, một trong số đó là triển khai Python mặc định (bao gồm trong HĐH của bạn hoặc được tải xuống từ Python.org.) Quản lý bộ nhớ cho mã Python của bạn được xử lý bởi ứng dụng Python. Các thuật toán và cấu trúc mà ứng dụng Python sử dụng để quản lý bộ nhớ là trọng tâm của bài viết này.

Việc triển khai Python mặc định

Việc triển khai Python mặc định, CPython, thực sự được viết bằng ngôn ngữ lập trình C.

Khi tôi lần đầu tiên nghe thấy điều này, nó đã thổi vào tâm trí tôi. Một ngôn ngữ mà viết bằng ngôn ngữ khác ?! Vâng, không thực sự, nhưng loại.

Ngôn ngữ Python được định nghĩa trong một hướng dẫn tham khảo được viết bằng tiếng Anh. Tuy nhiên, hướng dẫn đó không phải là tất cả những gì hữu ích. Bạn vẫn cần một cái gì đó để giải thích mã bằng văn bản dựa trên các quy tắc trong hướng dẫn.

Bạn cũng cần một cái gì đó để thực sự thực hiện mã được giải thích trên máy tính. Việc triển khai Python mặc định đáp ứng cả hai yêu cầu đó. Nó chuyển đổi mã Python của bạn thành các hướng dẫn sau đó nó chạy trên một máy ảo.

Python là một ngôn ngữ lập trình được giải thích. Mã Python của bạn thực sự được biên dịch cho các hướng dẫn có thể đọc được nhiều hơn được gọi là mã byte. Các hướng dẫn này được giải thích bằng một máy ảo khi bạn chạy mã của mình.interpreted by a virtual machine when you run your code.

Bạn đã bao giờ xem một tệp .pyc hoặc thư mục

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

Điều quan trọng cần lưu ý là có những triển khai khác ngoài CPython. IronPython biên dịch xuống để chạy trên thời gian chạy ngôn ngữ chung của Microsoft. Jython biên dịch xuống mã byte Java để chạy trên máy ảo Java. Sau đó, có Pypy, nhưng điều đó xứng đáng với toàn bộ bài viết của riêng mình, vì vậy tôi sẽ chỉ đề cập đến nó.

Đối với các mục đích của bài viết này, tôi sẽ tập trung vào việc quản lý bộ nhớ được thực hiện bằng cách triển khai mặc định của Python, Cpython.

Được rồi, vì vậy CPython được viết bằng C và nó diễn giải mã Python byte. Điều này có liên quan gì đến quản lý bộ nhớ? Chà, các thuật toán và cấu trúc quản lý bộ nhớ tồn tại trong mã Cpython, trong C. Để hiểu được quản lý bộ nhớ của Python, bạn phải hiểu cơ bản về chính CPython.

CPython được viết bằng C, không hỗ trợ lập trình hướng đối tượng. Do đó, có khá nhiều thiết kế thú vị trong mã Cpython.

Bạn có thể đã nghe nói rằng mọi thứ trong Python là một đối tượng, thậm chí các loại như

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

• 0200000000000000d00fbeaafe7f00000100000000000000ff7f0000
  

  6: Số lượng tham chiếu reference count

• 0200000000000000d00fbeaafe7f00000100000000000000ff7f0000
  

  7: Con trỏ sang loại khác pointer to another type

Số lượng tham chiếu được sử dụng để thu gom rác. Sau đó, bạn có một con trỏ đến loại đối tượng thực tế. Loại đối tượng đó chỉ là một

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

Mỗi đối tượng có trình phân bổ bộ nhớ dành riêng cho đối tượng riêng để biết cách lấy bộ nhớ lưu trữ đối tượng đó. Mỗi đối tượng cũng có một bộ giải quyết bộ nhớ dành riêng cho đối tượng mà trên mạng, giải phóng bộ nhớ một khi nó không còn cần thiết.

Tuy nhiên, có một yếu tố quan trọng trong tất cả những gì nói về việc phân bổ và giải phóng bộ nhớ. Bộ nhớ là một tài nguyên được chia sẻ trên máy tính và những điều xấu có thể xảy ra nếu hai quy trình khác nhau cố gắng ghi vào cùng một vị trí cùng một lúc.

Khóa phiên dịch toàn cầu (Gil)

GIL là một giải pháp cho vấn đề chung là xử lý các tài nguyên được chia sẻ, như bộ nhớ trong máy tính. Khi hai luồng cố gắng sửa đổi cùng một tài nguyên cùng một lúc, chúng có thể bước lên các ngón chân của nhau. Kết quả cuối cùng có thể là một mớ hỗn độn mà cả hai chủ đề không kết thúc với những gì họ muốn.

Hãy xem xét tương tự cuốn sách một lần nữa. Giả sử rằng hai tác giả bướng bỉnh quyết định rằng đến lượt họ viết. Không chỉ vậy, cả hai đều cần viết trên cùng một trang của cuốn sách cùng một lúc.

Họ từng bỏ qua những nỗ lực khác của người khác để tạo ra một câu chuyện và bắt đầu viết trên trang. Kết quả cuối cùng là hai câu chuyện trên nhau, điều này làm cho toàn bộ trang hoàn toàn không thể đọc được.

Một giải pháp cho vấn đề này là một khóa toàn cầu duy nhất trên trình thông dịch khi một luồng tương tác với tài nguyên được chia sẻ (trang trong cuốn sách). Nói cách khác, chỉ có một tác giả có thể viết cùng một lúc.

Python sườn Gil hoàn thành điều này bằng cách khóa toàn bộ trình thông dịch, có nghĩa là nó không thể cho một chủ đề khác bước lên tên hiện tại. Khi CPython xử lý bộ nhớ, nó sử dụng GIL để đảm bảo rằng nó hoạt động một cách an toàn.

Có những ưu và nhược điểm đối với phương pháp này, và Gil được tranh luận rất nhiều trong cộng đồng Python. Để đọc thêm về GIL, tôi khuyên bạn nên kiểm tra khóa phiên dịch viên toàn cầu Python là gì ?.

Thu gom rác thải

Hãy để xem lại cuốn sách Tương tự và cho rằng một số câu chuyện trong cuốn sách đang trở nên rất cũ. Không ai đọc hoặc tham khảo những câu chuyện đó nữa. Nếu không ai đọc một cái gì đó hoặc tham khảo nó trong công việc của riêng họ, bạn có thể thoát khỏi nó để nhường chỗ cho văn bản mới.

Bài viết cũ, không được giới thiệu đó có thể được so sánh với một đối tượng trong Python có số lượng tham chiếu đã giảm xuống còn

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

Số lượng tham chiếu được tăng lên vì một vài lý do khác nhau. Ví dụ: số lượng tham chiếu sẽ tăng nếu bạn gán nó cho một biến khác:

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

Nó cũng sẽ tăng nếu bạn vượt qua đối tượng như một đối số:

Ví dụ cuối cùng, số lượng tham chiếu sẽ tăng nếu bạn đưa đối tượng vào danh sách:

matrix = [numbers, numbers, numbers]

Python cho phép bạn kiểm tra số lượng tham chiếu hiện tại của một đối tượng với mô -đun

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

Trong mọi trường hợp, nếu đối tượng vẫn được yêu cầu treo xung quanh mã của bạn, số lượng tham chiếu của nó lớn hơn

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

numbers = [1, 2, 3]
# Reference count = 1
more_numbers = numbers
# Reference count = 2

Nhưng nó có ý nghĩa gì với bộ nhớ miễn phí, và làm thế nào để các đối tượng khác sử dụng nó? Hãy cùng nhảy ngay vào quản lý bộ nhớ CPython.

Quản lý bộ nhớ CPython sườn

Chúng tôi sẽ đi sâu vào kiến ​​trúc và thuật toán bộ nhớ của Cpython, vì vậy hãy khóa lại.

Như đã đề cập trước đây, có các lớp trừu tượng từ phần cứng vật lý đến cpython. Hệ điều hành (HĐH) trừu tượng hóa bộ nhớ vật lý và tạo một lớp bộ nhớ ảo mà các ứng dụng (bao gồm cả Python) có thể truy cập.

Một trình quản lý bộ nhớ ảo dành riêng cho hệ điều hành khắc một đoạn bộ nhớ cho quá trình Python. Các hộp màu xám đậm hơn trong hình dưới đây hiện thuộc sở hữu của quy trình Python.

Python sử dụng một phần của bộ nhớ để sử dụng nội bộ và bộ nhớ không đối tượng. Phần khác được dành riêng cho lưu trữ đối tượng (

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

CPYThon có một trình phân bổ đối tượng chịu trách nhiệm phân bổ bộ nhớ trong vùng bộ nhớ đối tượng. Phân bổ đối tượng này là nơi hầu hết các phép thuật xảy ra. Nó được gọi mỗi khi một đối tượng mới cần không gian được phân bổ hoặc xóa.

Thông thường, việc thêm và xóa dữ liệu cho các đối tượng Python như

matrix = [numbers, numbers, numbers]

0200000000000000d00fbeaafe7f00000100000000000000ff7f0000

Các nhận xét trong mã nguồn mô tả bộ phân bổ là bộ phân bổ bộ nhớ có mục đích nhanh, nhanh cho các khối nhỏ, được sử dụng trên đỉnh của một malloc đa năng. Trong trường hợp này,

matrix = [numbers, numbers, numbers]

Bây giờ chúng tôi sẽ xem xét chiến lược phân bổ bộ nhớ của Cpython. Đầu tiên, chúng tôi sẽ nói về 3 mảnh chính và cách chúng liên quan đến nhau.

Đấu trường là những khối bộ nhớ lớn nhất và được căn chỉnh trên một ranh giới trang trong bộ nhớ. Một ranh giới trang là cạnh của một đoạn bộ nhớ liên tục có độ dài cố định mà HĐH sử dụng. Python giả định kích thước trang của hệ thống là 256 kilobyte.

Trong các đấu trường là các hồ bơi, là một trang bộ nhớ ảo (4 kilobyte). Đây giống như các trang trong cuốn sách tương tự của chúng tôi. Các nhóm này được phân mảnh thành các khối bộ nhớ nhỏ hơn.

Tất cả các khối trong một nhóm nhất định đều có cùng một lớp kích thước. Một lớp kích thước xác định kích thước khối cụ thể, với một số lượng dữ liệu được yêu cầu. Biểu đồ dưới đây được lấy trực tiếp từ các nhận xét mã nguồn:

Ví dụ: nếu 42 byte được yêu cầu, dữ liệu sẽ được đặt vào khối kích thước 48 byte.

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

matrix = [numbers, numbers, numbers]

Khối

Như đã thấy trong sơ đồ trên, các nhóm chứa một con trỏ tới các khối bộ nhớ miễn phí của họ. Có một sắc thái nhỏ cho cách thức hoạt động của nó. Phân bổ này, người khác phấn đấu ở tất cả các cấp (đấu trường, nhóm và khối) không bao giờ chạm vào một phần bộ nhớ cho đến khi nó thực sự cần thiết, theo các bình luận trong mã nguồn.

Điều đó có nghĩa là một nhóm có thể có khối ở 3 tiểu bang. Các trạng thái này có thể được định nghĩa như sau:

• id()8: Một phần bộ nhớ chưa được phân bổ a portion of memory that has not been allocated
• id()9: Một phần bộ nhớ được phân bổ nhưng sau đó đã tạo ra miễn phí bởi CPYthon và không còn chứa dữ liệu liên quan a portion of memory that was allocated but later made “free” by CPython and that no longer contains relevant data
• id0: Một phần bộ nhớ thực sự chứa dữ liệu liên quan a portion of memory that actually contains relevant data

Con trỏ id1 trỏ đến danh sách các khối bộ nhớ miễn phí được liên kết đơn lẻ. Nói cách khác, một danh sách các địa điểm có sẵn để đặt dữ liệu. Nếu cần nhiều hơn các khối miễn phí có sẵn, bộ phân bổ sẽ nhận được một số khối id()8 trong nhóm.

Khi trình quản lý bộ nhớ tạo các khối miễn phí, thì bây giờ các khối id()9 được thêm vào mặt trước của danh sách id1. Danh sách thực tế có thể không phải là khối bộ nhớ tiếp giáp, như sơ đồ đẹp đầu tiên. Nó có thể trông giống như sơ đồ dưới đây:

Đấu trường

Đấu trường chứa hồ bơi. Những hồ bơi đó có thể là

matrix = [numbers, numbers, numbers]

5,

matrix = [numbers, numbers, numbers]

6 hoặc

matrix = [numbers, numbers, numbers]

7. Bản thân các đấu trường don don có trạng thái rõ ràng như hồ bơi.

Thay vào đó, đấu trường được tổ chức thành một danh sách liên kết gấp đôi có tên là id8. Danh sách được sắp xếp theo số lượng nhóm miễn phí có sẵn. Các nhóm càng ít miễn phí, đấu trường càng gần phía trước danh sách.

Điều này có nghĩa là đấu trường đầy dữ liệu nhất sẽ được chọn để đặt dữ liệu mới vào. Nhưng tại sao không ngược lại? Tại sao không đặt dữ liệu ở nơi có không gian có sẵn nhất?

Điều này đưa chúng ta đến ý tưởng thực sự giải phóng trí nhớ. Bạn có thể nhận thấy rằng tôi đã nói rằng miễn phí trong các trích dẫn khá nhiều. Lý do là khi một khối được coi là miễn phí, bộ nhớ đó không thực sự được giải phóng trở lại hệ điều hành. Quá trình Python giữ cho nó được phân bổ và sẽ sử dụng nó sau này cho dữ liệu mới. Thực sự giải phóng bộ nhớ trả lại cho hệ điều hành để sử dụng.

Đấu trường là những điều duy nhất có thể thực sự được giải thoát. Vì vậy, lý do là những đấu trường gần hơn để trống nên được phép trở nên trống rỗng. Bằng cách đó, đoạn bộ nhớ đó có thể thực sự được giải phóng, làm giảm dấu chân bộ nhớ tổng thể của chương trình Python của bạn.

Sự kết luận

Quản lý bộ nhớ là một phần không thể thiếu trong việc làm việc với máy tính. Python xử lý gần như tất cả những thứ đằng sau hậu trường, tốt hơn hoặc tồi tệ hơn.

Trong bài viết này, bạn đã học được:

• Quản lý bộ nhớ là gì và tại sao nó lại quan trọng
• Cách thực hiện Python mặc định, CPython, được viết bằng ngôn ngữ lập trình C.
• Cách các cấu trúc dữ liệu và thuật toán hoạt động cùng nhau trong quản lý bộ nhớ CPython, để xử lý dữ liệu của bạn

Python tóm tắt rất nhiều chi tiết nghiệt ngã khi làm việc với máy tính. Điều này cung cấp cho bạn sức mạnh để làm việc ở cấp độ cao hơn để phát triển mã của bạn mà không phải đau đầu về việc lo lắng về cách thức và nơi tất cả các byte đó được lưu trữ.