Hướng dẫn codecs.open python example - ví dụ về codecs.open python

Các lớp cơ sở Codec

Mô -đun bytes16 xác định một tập hợp các lớp cơ sở xác định các giao diện để làm việc với các đối tượng codec và cũng có thể được sử dụng làm cơ sở để triển khai CODEC tùy chỉnh.

Mỗi codec phải xác định bốn giao diện để làm cho nó có thể sử dụng được là codec trong python: bộ mã hóa không trạng thái, bộ giải mã không trạng thái, trình đọc luồng và người viết luồng. Trình đọc luồng và nhà văn thường sử dụng lại bộ mã hóa/bộ giải mã không trạng thái để thực hiện các giao thức tệp. Các tác giả Codec cũng cần xác định cách thức codec sẽ xử lý các lỗi mã hóa và giải mã.

>>> 'German ß, ♬'.encode(encoding='ascii', errors='backslashreplace')
b'German \\xdf, \\u266c'
>>> 'German ß, ♬'.encode(encoding='ascii', errors='xmlcharrefreplace')
b'German ß, ♬'

Mã hóa và Unicode¶

Các chuỗi được lưu trữ nội bộ dưới dạng chuỗi các điểm mã trong phạm vi ________ 294 ____________ 295. . Cũng như các codec khác, việc tuần tự hóa một chuỗi thành một chuỗi byte được gọi là mã hóa và tái tạo chuỗi từ chuỗi byte được gọi là giải mã. Có một loạt các codec tuần tự hóa văn bản khác nhau, có tính tập thể được gọi là mã hóa văn bản.PEP 393 for more details about the implementation.) Once a string object is used outside of CPU and memory, endianness and how these arrays are stored as bytes become an issue. As with other codecs, serialising a string into a sequence of bytes is known as encoding, and recreating the string from the sequence of bytes is known as decoding. There are a variety of different text serialisation codecs, which are collectivity referred to as text encodings.

Mã hóa văn bản đơn giản nhất (được gọi là codecs.96 hoặc codecs.97) ánh xạ các điểm mã 0 Phản255 đến byte ________ 298, ____________ 299, điều đó có nghĩa là một đối tượng chuỗi chứa các điểm mã trên encode00 có thể được mã hóa bằng codec này. Làm như vậy sẽ tăng một UnicodeEncodeError trông giống như sau (mặc dù các chi tiết của thông báo lỗi có thể khác nhau): encode02.

Có một nhóm mã hóa khác (cái gọi là mã hóa charmap) chọn một tập hợp con khác của tất cả các điểm mã Unicode và cách các điểm mã này được ánh xạ tới byte ________ 298. Để xem làm thế nào điều này được thực hiện chỉ đơn giản là mở, ví dụ: encode05 (là một mã hóa được sử dụng chủ yếu trên Windows). Có một hằng số chuỗi với 256 ký tự cho bạn thấy ký tự nào được ánh xạ theo giá trị byte nào.

Tất cả các mã hóa này chỉ có thể mã hóa 256 trong số 1114112 điểm được xác định trong Unicode. Một cách đơn giản và đơn giản có thể lưu trữ từng điểm mã Unicode, là lưu trữ từng điểm mã dưới dạng bốn byte liên tiếp. Có hai khả năng: lưu trữ các byte trong Big Endian hoặc Little Endian Order. Hai mã hóa này được gọi là encode06 và encode07 tương ứng. Nhược điểm của họ là nếu ví dụ: Bạn sử dụng encode06 trên một máy endian nhỏ, bạn sẽ luôn phải trao đổi byte khi mã hóa và giải mã. encode09 Tránh vấn đề này: Byte sẽ luôn ở trong sự tự nhiên. Khi các byte này được đọc bởi một CPU với một endianness khác, thì byte phải được hoán đổi mặc dù. Để có thể phát hiện tính cuối cùng của chuỗi byte encode10 hoặc encode09, có cái gọi là BOM (By Byte Order Mark Mark). Đây là ký tự Unicode encode12. Nhân vật này có thể được chuẩn bị cho mỗi chuỗi byte encode10 hoặc encode09. Phiên bản hoán đổi byte của ký tự này (encode15) là một nhân vật bất hợp pháp có thể không xuất hiện trong một văn bản Unicode. Vì vậy, khi ký tự đầu tiên trong chuỗi byte encode10 hoặc encode09 dường như là một encode18, các byte phải được hoán đổi khi giải mã. Thật không may, nhân vật encode12 có mục đích thứ hai là encode20: một nhân vật không có chiều rộng và không cho phép một từ được chia tách. Nó có thể, ví dụ: được sử dụng để đưa ra gợi ý cho một thuật toán dây chằng. Với Unicode 4.0 sử dụng encode12 làm encode20 đã được không dùng nữa (với encode23 (encode24) giả định vai trò này). Tuy nhiên, phần mềm Unicode vẫn phải có khả năng xử lý encode12 trong cả hai vai trò: Là một BOM, nó là một thiết bị để xác định bố cục lưu trữ của các byte được mã hóa và biến mất một khi chuỗi byte đã được giải mã thành một chuỗi; Là một encode26, nó là một nhân vật bình thường sẽ được giải mã như bất kỳ nhân vật nào khác.

Có một mã hóa khác có thể mã hóa toàn bộ các ký tự Unicode: UTF-8. UTF-8 là mã hóa 8 bit, có nghĩa là không có vấn đề gì với thứ tự byte trong UTF-8. Mỗi byte trong chuỗi Byte UTF-8 bao gồm hai phần: bit đánh dấu (các bit quan trọng nhất) và bit tải trọng. Các bit đánh dấu là một chuỗi từ 0 đến bốn bit encode27 theo sau là bit codecs.21. Các ký tự Unicode được mã hóa như thế này (với x là bit tải trọng, khi được ghép lại cho ký tự Unicode):

Bit ít đáng kể nhất của ký tự Unicode là bit X ngoài cùng bên phải.

Vì UTF-8 là mã hóa 8 bit không cần BOM và bất kỳ ký tự encode12 nào trong chuỗi được giải mã (ngay cả khi nó là ký tự đầu tiên) được coi là encode38.

Nếu không có thông tin bên ngoài, không thể xác định đáng tin cậy nào mã hóa được sử dụng để mã hóa một chuỗi. Mỗi mã hóa Charmap có thể giải mã bất kỳ chuỗi byte ngẫu nhiên nào. Tuy nhiên, điều đó không thể xảy ra với UTF-8, vì các chuỗi byte UTF-8 có cấu trúc không cho phép các chuỗi byte tùy ý. Để tăng độ tin cậy mà mã hóa UTF-8 có thể được phát hiện, Microsoft đã phát minh ra một biến thể của UTF-8 (mà Python gọi encode39) cho chương trình Notepad của mình: trước bất kỳ ký tự Unicode nào được ghi vào tệp, UTF-8 BOM được mã hóa (trông giống như một chuỗi byte: encode40, encode41, encode42) được viết. Vì nó khá không thể, bất kỳ tệp được mã hóa Charmap nào cũng bắt đầu với các giá trị byte này (ví dụ: bản đồ để

Latin nhỏ chữ I với đường đi

Dấu ngoặc kép bên phải

Dấu hỏi đảo ngược

Trong ISO-8859-1), điều này làm tăng xác suất mã hóa encode43 có thể được đoán chính xác từ chuỗi byte. Vì vậy, ở đây BOM không được sử dụng để có thể xác định thứ tự byte được sử dụng để tạo chuỗi byte, nhưng là một chữ ký giúp đoán mã hóa. Khi mã hóa codec UTF-8-SIG sẽ viết encode40, encode41, encode42 là ba byte đầu tiên cho tệp. Khi giải mã encode43 sẽ bỏ qua ba byte đó nếu chúng xuất hiện dưới dạng ba byte đầu tiên trong tệp. Trong UTF-8, việc sử dụng BOM không được khuyến khích và thường nên tránh.

Mã hóa tiêu chuẩn

Python đi kèm với một số codec tích hợp, được triển khai dưới dạng hàm C hoặc với từ điển dưới dạng bảng ánh xạ. Bảng sau đây liệt kê các codec theo tên, cùng với một vài bí danh phổ biến và các ngôn ngữ mà mã hóa có thể được sử dụng. Cả danh sách các bí danh và danh sách các ngôn ngữ đều có nghĩa là toàn diện. Lưu ý rằng các lựa chọn thay thế chính tả chỉ khác nhau trong trường hợp hoặc sử dụng dấu gạch nối thay vì dấu gạch dưới cũng là bí danh hợp lệ; Do đó, ví dụ: encode48 là bí danh hợp lệ cho codec encode49.

Chi tiết triển khai CPYThon: Một số mã hóa phổ biến có thể bỏ qua bộ máy tra cứu Codecs để cải thiện hiệu suất. Các cơ hội tối ưu hóa này chỉ được CPython công nhận cho một bộ bí danh giới hạn (trường hợp không nhạy cảm) -ascii, UTF-16, UTF16, UTF-32, UTF32 và tương tự bằng cách sử dụng dấu gạch dưới thay vì dấu gạch ngang. Sử dụng các bí danh thay thế cho các mã hóa này có thể dẫn đến việc thực hiện chậm hơn. Some common encodings can bypass the codecs lookup machinery to improve performance. These optimization opportunities are only recognized by CPython for a limited set of (case insensitive) aliases: utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs (Windows only), ascii, us-ascii, utf-16, utf16, utf-32, utf32, and the same using underscores instead of dashes. Using alternative aliases for these encodings may result in slower execution.

Đã thay đổi trong phiên bản 3.6: Cơ hội tối ưu hóa được công nhận cho US-ASCII.Optimization opportunity recognized for us-ascii.

Nhiều bộ ký tự hỗ trợ cùng một ngôn ngữ. Chúng khác nhau ở các ký tự riêng lẻ (ví dụ: dấu hiệu Euro có được hỗ trợ hay không) và trong việc gán ký tự cho các vị trí mã. Đối với các ngôn ngữ châu Âu nói riêng, các biến thể sau đây thường tồn tại:

• một mã ISO 8859

• Trang mã Windows Windows, thường có nguồn gốc từ mã 8859, nhưng thay thế các ký tự điều khiển bằng các ký tự đồ họa bổ sung

• Trang mã EBCDIC IBM

• Trang mã PC IBM, tương thích ASCII

Hàn QuốcThe utf-16* and utf-32* encoders no longer allow surrogate code points (bytes43–bytes44) to be encoded. The utf-32* decoders no longer decode byte sequences that correspond to surrogate code points.

Trung Quốc, CSISO58GB231280, EUC-CN, EUCCN, EUCGB2312-CN, GB2312-1980, GB2312-80, ISO-IR-58encode52 is now an alias to encode53.

Tiếng Trung giản thể

GBK

Chuyển đổi toán hạng thành mime base64 multiline (kết quả luôn bao gồm một dấu vết UnicodeEncodeError6).

Thay đổi trong phiên bản 3.4: Chấp nhận bất kỳ đối tượng giống như byte nào làm đầu vào để mã hóa và giải mãRFC 3490 (Internationalized Domain Names in Applications) and RFC 3492 (Nameprep: A Stringprep Profile for Internationalized Domain Names (IDN)). It builds upon the encode86 encoding and encode87.

encode65 / encode66RFC 5891 and RFC 5895, use the third-party idna module.

Nén toán hạng bằng BZ2.

encode67 / encode68section 3.1 of RFC 3490 and converting each label to ACE as required, and conversely separating an input byte string into labels based on the encode91 separator and converting any ACE labels found into unicode. Furthermore, the encode92 module transparently converts Unicode host names to ACE, so that applications need not be concerned about converting host names themselves when they pass them to the socket module. On top of that, modules that have host names as function parameters, such as encode93 and encode94, accept Unicode host names (encode93 then also transparently sends an IDNA hostname in the field if it sends that field at all).

Hex

Chuyển đổi toán hạng thành đại diện thập lục phân, với hai chữ số mỗi byte.

Quopri, trích dẫn có thể trích dẫn, trích dẫn_printable

encode71 với encode72 / encode73RFC 3490. 'strict'02 is assumed to be false.

Chuyển đổi toán hạng bằng UUenCode.RFC 3490.

encode74 / encode75

Zip, Zlib

Nén toán hạng bằng GZIP.: Windows only.

encode76 / encode77Support any error handler.

Ngoài các đối tượng giống như byte, encode78 cũng chấp nhận các trường hợp ASCII-chỉ của codecs.9 để giải mãBefore 3.2, the errors argument was ignored; bytes22 was always used to encode, and bytes20 to decode.

mã hóa.utf_8_sig-codec UTF-8 với chữ ký BOM

Mô-đun này thực hiện một biến thể của codec UTF-8.Khi mã hóa, BOM được mã hóa UTF-8 sẽ được chuẩn bị cho UTF-8 được mã hóa byte.Đối với bộ mã hóa trạng thái, điều này chỉ được thực hiện một lần (trên lần ghi đầu tiên vào luồng byte).Khi giải mã, một BOM được mã hóa UTF-8 tùy chọn khi bắt đầu dữ liệu sẽ bị bỏ qua.