Hướng dẫn ignore encoding errors python - bỏ qua lỗi mã hóa python

Định nghĩa¶

Tại sao bất kỳ lỗi nào được nêu ra khi tôi đang sử dụng 'bỏ qua'?

Flim

122K39 Huy hiệu vàng233 Huy hiệu bạc245 Huy hiệu Đồngcharacter is the smallest possible component of a text. ‘A’, ‘B’, ‘C’, etc., are all different characters. So are ‘È’ and ‘Í’. Characters vary depending on the language or context you’re talking about. For example, there’s a character for “Roman Numeral One”, ‘Ⅰ’, that’s separate from the uppercase letter ‘I’. They’ll usually look the same, but these are two different characters that have different meanings.

hỏi ngày 23 tháng 2 năm 2011 lúc 20:36code points. A code point value is an integer in the range 0 to 0x10FFFF (about 1.1 million values, the actual number assigned is less than that). In the standard and in this document, a code point is written using the notation

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Facundo Cascofacundo Casco

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

9.6156 Huy hiệu vàng43 Huy hiệu bạc63 Huy hiệu Đồng

Một ký tự được thể hiện trên màn hình hoặc trên giấy bởi một tập hợp các yếu tố đồ họa mà Lọ gọi là glyph. Ví dụ, glyph cho chữ A, ví dụ, là hai nét chéo và đột quỵ ngang, mặc dù các chi tiết chính xác sẽ phụ thuộc vào phông chữ được sử dụng. Hầu hết các mã Python không cần phải lo lắng về glyphs; Tìm ra glyph chính xác để hiển thị nói chung là công việc của bộ công cụ GUI hoặc trình kết xuất phông chữ Terminal.glyph. The glyph for an uppercase A, for example, is two diagonal strokes and a horizontal stroke, though the exact details will depend on the font being used. Most Python code doesn’t need to worry about glyphs; figuring out the correct glyph to display is generally the job of a GUI toolkit or a terminal’s font renderer.

Mã hóa

Để tóm tắt phần trước: Chuỗi Unicode là chuỗi các điểm mã, là số từ 0 đến

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Mã hóa đầu tiên mà bạn có thể nghĩ là sử dụng các số nguyên 32 bit làm đơn vị mã, và sau đó sử dụng biểu diễn CPU của các số nguyên 32 bit. Trong đại diện này, chuỗi Py Python có thể trông như thế này:

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Đại diện này là đơn giản nhưng sử dụng nó thể hiện một số vấn đề.

1. Nó không di động; Các bộ xử lý khác nhau đặt hàng byte khác nhau.

2. Nó rất lãng phí không gian. Trong hầu hết các văn bản, phần lớn các điểm mã nhỏ hơn 127, hoặc dưới 255, do đó, rất nhiều không gian bị chiếm bởi

   try:
       with open('/tmp/input.txt', 'r') as f:
           ...
   except OSError:
       # 'File not found' error message.
       print("Fichier non trouvé")
   

   2 byte. Chuỗi trên mất 24 byte so với 6 byte cần thiết cho biểu diễn ASCII. Việc sử dụng RAM tăng không quan trọng quá nhiều (máy tính để bàn có gigabyte ram, và chuỗi thường không lớn), nhưng việc mở rộng việc sử dụng băng thông đĩa và mạng của chúng tôi bằng hệ số 4 là không thể chịu đựng được.

3. Nó không tương thích với các chức năng C hiện có như

   try:
       with open('/tmp/input.txt', 'r') as f:
           ...
   except OSError:
       # 'File not found' error message.
       print("Fichier non trouvé")
   

   3, vì vậy một gia đình mới gồm các hàm chuỗi rộng sẽ cần được sử dụng.

Do đó, mã hóa này được sử dụng rất nhiều, và thay vào đó mọi người chọn các mã hóa khác hiệu quả và thuận tiện hơn, chẳng hạn như UTF-8.

UTF-8 là một trong những mã hóa được sử dụng phổ biến nhất và Python thường mặc định sử dụng nó. UTF là viết tắt của định dạng chuyển đổi Unicode, và ‘8 8 có nghĩa là các giá trị 8 bit được sử dụng trong mã hóa. (Ngoài ra còn có mã hóa UTF-16 và UTF-32, nhưng chúng ít được sử dụng hơn UTF-8.) UTF-8 sử dụng các quy tắc sau:

1. Nếu điểm mã là <128, thì nó được biểu thị bằng giá trị byte tương ứng.

2. Nếu điểm mã là> = 128, thì nó đã biến thành một chuỗi gồm hai, ba hoặc bốn byte, trong đó mỗi byte của chuỗi nằm trong khoảng từ 128 đến 255.

UTF-8 có một số thuộc tính thuận tiện:

1. Nó có thể xử lý bất kỳ điểm mã Unicode.

2. Một chuỗi unicode được biến thành một chuỗi các byte chỉ chứa các byte không được nhúng khi chúng đại diện cho ký tự null (U+0000). Điều này có nghĩa là các chuỗi UTF-8 có thể được xử lý bởi các hàm C như

   try:
       with open('/tmp/input.txt', 'r') as f:
           ...
   except OSError:
       # 'File not found' error message.
       print("Fichier non trouvé")
   

   4 và được gửi qua các giao thức có thể xử lý số byte không cho bất cứ thứ gì khác ngoài các dấu hiệu cuối chuỗi.

3. Một chuỗi văn bản ASCII cũng là văn bản UTF-8 hợp lệ.

4. UTF-8 khá nhỏ gọn; Phần lớn các ký tự thường được sử dụng có thể được biểu diễn bằng một hoặc hai byte.

5. Nếu byte bị hỏng hoặc bị mất, thì có thể xác định điểm bắt đầu của điểm mã được mã hóa UTF-8 tiếp theo và đồng bộ hóa. Nó cũng không chắc rằng dữ liệu 8 bit ngẫu nhiên sẽ trông giống như UTF-8 hợp lệ.

6. UTF-8 là mã hóa theo định hướng byte. Mã hóa chỉ định rằng mỗi ký tự được biểu diễn bằng một chuỗi cụ thể của một hoặc nhiều byte. Điều này tránh các vấn đề đặt hàng byte có thể xảy ra với các mã hóa theo định hướng số nguyên và từ, như UTF-16 và UTF-32, trong đó chuỗi byte thay đổi tùy thuộc vào phần cứng mà chuỗi được mã hóa.

Người giới thiệu¶

Trang web Unicode Consortium có biểu đồ ký tự, bảng thuật ngữ và phiên bản PDF của đặc tả Unicode. Hãy chuẩn bị cho một số đọc khó đọc. Một niên đại về nguồn gốc và sự phát triển của Unicode cũng có sẵn trên trang web.

Trên kênh YouTube máy tính, Tom Scott thảo luận ngắn gọn về lịch sử của Unicode và UTF-8 (9 phút 36 giây).

Để giúp hiểu tiêu chuẩn, Jukka Korpela đã viết một hướng dẫn giới thiệu để đọc các bảng ký tự Unicode.

Một bài viết giới thiệu tốt khác được viết bởi Joel Spolsky. Nếu phần giới thiệu này đã làm cho mọi thứ rõ ràng với bạn, bạn nên thử đọc bài viết thay thế này trước khi tiếp tục.

Các mục Wikipedia thường hữu ích; Ví dụ, xem các mục cho mã hóa ký tự và UTF-8 và UTF-8.

Loại chuỗi

Kể từ Python 3.0, loại ngôn ngữ

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Mã hóa mặc định cho mã nguồn Python là UTF-8, do đó bạn có thể chỉ cần bao gồm một ký tự Unicode trong một chuỗi chữ:

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Lưu ý bên: Python 3 cũng hỗ trợ bằng cách sử dụng các ký tự Unicode trong số nhận dạng:

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

Nếu bạn có thể nhập một ký tự cụ thể vào trình chỉnh sửa của mình hoặc muốn giữ mã nguồn ASCII-chỉ vì một số lý do, bạn cũng có thể sử dụng các chuỗi thoát trong các chữ viết. (Tùy thuộc vào hệ thống của bạn, bạn có thể thấy Glyph vốn thực tế thay vì thoát U.)

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

Ngoài ra, người ta có thể tạo một chuỗi bằng phương pháp

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

Đối số lỗi chỉ định phản hồi khi chuỗi đầu vào có thể được chuyển đổi theo các quy tắc mã hóa. Các giá trị pháp lý cho đối số này là

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

Mã hóa được chỉ định là các chuỗi chứa tên mã hóa. Python đi kèm với khoảng 100 mã hóa khác nhau; Xem tham chiếu thư viện Python tại các mã hóa tiêu chuẩn để biết danh sách. Một số mã hóa có nhiều tên; Ví dụ:

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

Các chuỗi unicode một ký tự cũng có thể được tạo với hàm tích hợp

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

Chuyển đổi sang byte¶

Phương pháp ngược lại của

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Tham số lỗi giống như tham số của phương thức

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

Ví dụ sau đây cho thấy các kết quả khác nhau:

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

Các thói quen cấp thấp để đăng ký và truy cập các mã hóa có sẵn được tìm thấy trong mô-đun

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

Unicode theo nghĩa đen trong mã nguồn Python

Trong mã nguồn Python, các điểm mã unicode cụ thể có thể được viết bằng chuỗi thoát

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Sử dụng trình tự thoát cho các điểm mã lớn hơn 127 là tốt với liều nhỏ, nhưng trở thành một khó khăn nếu bạn sử dụng nhiều ký tự có dấu, như bạn sẽ làm trong một chương trình có tin nhắn bằng tiếng Pháp hoặc một số ngôn ngữ sử dụng giọng nói khác. Bạn cũng có thể lắp ráp các chuỗi bằng hàm tích hợp

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

Lý tưởng nhất là bạn muốn có thể viết các chữ bằng ngôn ngữ của bạn. Sau đó, bạn có thể chỉnh sửa mã nguồn Python với trình soạn thảo yêu thích của bạn sẽ hiển thị các ký tự có dấu một cách tự nhiên và có các ký tự phù hợp được sử dụng trong thời gian chạy.

Python hỗ trợ viết mã nguồn trong UTF-8 theo mặc định, nhưng bạn có thể sử dụng hầu hết mọi mã hóa nếu bạn tuyên bố mã hóa được sử dụng. Điều này được thực hiện bằng cách bao gồm một nhận xét đặc biệt là dòng đầu tiên hoặc thứ hai của tệp nguồn:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Cú pháp được lấy cảm hứng từ ký hiệu Emacs, để chỉ định các biến cục bộ vào tệp. Emacs hỗ trợ nhiều biến khác nhau, nhưng Python chỉ hỗ trợ ‘mã hóa. Các biểu tượng

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

Nếu bạn không bao gồm một nhận xét như vậy, mã hóa mặc định được sử dụng sẽ được UTF-8 như đã đề cập. Xem thêm PEP 263 để biết thêm thông tin.PEP 263 for more information.

Thuộc tính unicode

Thông số kỹ thuật Unicode bao gồm một cơ sở dữ liệu thông tin về các điểm mã. Đối với mỗi điểm mã được xác định, thông tin bao gồm tên ký tự, danh mục của nó, giá trị số nếu có (đối với các ký tự đại diện cho các khái niệm số như chữ số La Mã, các phân số như một phần ba và bốn phần năm, v.v.). Ngoài ra còn có các thuộc tính liên quan đến hiển thị, chẳng hạn như cách sử dụng điểm mã trong văn bản hai chiều.

Chương trình sau đây hiển thị một số thông tin về một số ký tự và in giá trị số của một ký tự cụ thể:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Khi chạy, bản in này:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Các mã danh mục là chữ viết tắt mô tả bản chất của nhân vật. Chúng được nhóm thành các danh mục như chữ cái, chữ số, số lượng, số lần, dấu chấm câu, hoặc biểu tượng của người Hồi giáo, từ đó được chia thành các tiểu thể loại. Để lấy các mã từ đầu ra ở trên,

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

So sánh chuỗi

Unicode thêm một số biến chứng để so sánh các chuỗi, bởi vì cùng một tập hợp các ký tự có thể được biểu diễn bằng các chuỗi điểm mã khác nhau. Ví dụ: một chữ cái như 'Ê' có thể được biểu diễn dưới dạng một điểm mã U+00EA hoặc dưới dạng U+0065 U+0302, là điểm mã cho 'e' theo sau là điểm mã để 'kết hợp âm thanh chu vi' . Chúng sẽ tạo ra cùng một đầu ra khi được in, nhưng một là một chuỗi có độ dài 1 và một chuỗi còn lại có độ dài 2.

Một công cụ để so sánh không nhạy cảm trường hợp là phương thức chuỗi

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Một công cụ thứ hai là hàm

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Khi chạy, điều này xuất bản:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Đối số đầu tiên cho hàm

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

Tiêu chuẩn Unicode cũng chỉ định cách so sánh Casless:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Điều này sẽ in

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

Unicode biểu thức chính quy

Các biểu thức thông thường được hỗ trợ bởi mô -đun

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Chuỗi trong ví dụ này có số 57 được viết bằng cả chữ số Thái Lan và tiếng Ả Rập:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Khi được thực hiện,

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Tương tự,

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')  
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'ꀀabcd޴'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Người giới thiệu¶

Một số cuộc thảo luận thay thế tốt về hỗ trợ unicode của Python là:

• Xử lý các tệp văn bản trong Python 3, bởi Nick Coghlan.

• Unicode thực dụng, một bài thuyết trình PYCON 2012 của Ned Batchelder.

Loại

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Tài liệu cho mô -đun

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

Tài liệu cho mô -đun

>>> b'\x80abc'.decode("utf-8", "strict")  
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

Marc-André Lemburg đã trình bày một bài thuyết trình có tựa đề là Py Python và Unicode, (slide PDF) tại Europython 2002. Các slide là một tổng quan tuyệt vời về thiết kế của các tính năng Unicode của Python 2 (trong đó loại chuỗi Unicode được gọi .

Tên tệp Unicode

Hầu hết các hệ điều hành được sử dụng phổ biến ngày nay hỗ trợ các tên tệp có chứa các ký tự Unicode tùy ý. Thông thường điều này được thực hiện bằng cách chuyển đổi chuỗi unicode thành một số mã hóa khác nhau tùy thuộc vào hệ thống. Ngày nay, Python đang hội tụ sử dụng UTF-8: Python trên MacOS đã sử dụng UTF-8 cho một số phiên bản và Python 3.6 đã chuyển sang sử dụng UTF-8 trên Windows. Trên các hệ thống Unix, sẽ chỉ có mã hóa hệ thống tập tin. Nếu bạn đã đặt các biến môi trường

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Hàm

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

Các chức năng trong mô -đun

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Hàm

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

sẽ tạo ra đầu ra sau:

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

Danh sách đầu tiên chứa các tên tệp được mã hóa UTF-8 và danh sách thứ hai chứa các phiên bản Unicode.

Lưu ý rằng trong hầu hết các trường hợp, bạn nên chỉ có thể sử dụng Unicode với các API này. Các API byte chỉ nên được sử dụng trên các hệ thống nơi có thể có tên tệp không thể mã hóa; Đó là khá nhiều hệ thống UNIX bây giờ.

Mẹo để viết các chương trình nhận biết Unicode

Phần này cung cấp một số gợi ý về việc viết phần mềm liên quan đến Unicode.

Mẹo quan trọng nhất là:

Phần mềm chỉ nên hoạt động với các chuỗi Unicode bên trong, giải mã dữ liệu đầu vào càng sớm càng tốt và mã hóa đầu ra ở cuối.

Nếu bạn cố gắng viết các chức năng xử lý chấp nhận cả chuỗi unicode và byte, bạn sẽ thấy chương trình của mình dễ bị lỗi ở bất cứ nơi nào bạn kết hợp hai loại chuỗi khác nhau. Không có mã hóa hoặc giải mã tự động: Nếu bạn làm, ví dụ:

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Khi sử dụng dữ liệu đến từ trình duyệt web hoặc một số nguồn không đáng tin cậy khác, một kỹ thuật phổ biến là kiểm tra các ký tự bất hợp pháp trong một chuỗi trước khi sử dụng chuỗi trong một dòng lệnh được tạo hoặc lưu trữ nó trong cơ sở dữ liệu. Nếu bạn làm điều này, hãy cẩn thận để kiểm tra chuỗi được giải mã, không phải là dữ liệu byte được mã hóa; Một số mã hóa có thể có các thuộc tính thú vị, chẳng hạn như không tương thích hoàn toàn hoặc không tương thích với ASCII. Điều này đặc biệt đúng nếu dữ liệu đầu vào cũng chỉ định mã hóa, vì kẻ tấn công sau đó có thể chọn một cách thông minh để ẩn văn bản độc hại trong byteStream được mã hóa.

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

unicode_char = u'\xb0'

encodedchar = unicode_char.encode('utf-8')

Người giới thiệu¶

Một phần của việc làm chủ Python 3 đầu vào/đầu ra, một cuộc nói chuyện PYCON 2010 của David Beazley, thảo luận về xử lý văn bản và xử lý dữ liệu nhị phân.

Các slide PDF cho bài thuyết trình của Marc-André Lemburg, Viết các ứng dụng nhận biết Unicode trong Python, thảo luận về các câu hỏi về mã hóa nhân vật cũng như cách quốc tế hóa và bản địa hóa một ứng dụng. Các slide này chỉ bao gồm Python 2.x.

Guts of Unicode trong Python là một cuộc nói chuyện của Pycon 2013 của Benjamin Peterson, thảo luận về đại diện Unicode nội bộ trong Python 3.3.