Đơn vị riêng lẻ nhỏ nhất trong chương trình được gọi là mã thông báo. Có năm loại mã thông báo được phép trong Python. họ đang
từ khóa. cho, del, elif, khác, v.v.
định danh. Tên biến như số dư, tên lớp như Xe, v.v.
chữ. Chuỗi, Số, Boolean như 'abcd', Không có, v.v.
nhà điều hành. Unary, Binary, Bitwise như '+', '&', '^', v.v.
dấu câu. Các ký hiệu như '#', '(', '[', '=', v.v.
Mô-đun này cung cấp các hằng số đại diện cho các giá trị số của các nút lá của cây phân tích cú pháp (mã thông báo đầu cuối). Tham khảo tệp Grammar/Tokens trong bản phân phối Python để biết các định nghĩa về tên trong ngữ cảnh ngữ pháp ngôn ngữ. Các giá trị số cụ thể mà tên ánh xạ có thể thay đổi giữa các phiên bản Python
Mô-đun này cũng cung cấp ánh xạ từ mã số sang tên và một số chức năng. Các chức năng phản ánh định nghĩa trong tệp tiêu đề Python C
mã thông báo. tok_nameTừ điển ánh xạ các giá trị số của các hằng số được xác định trong mô-đun này trở lại chuỗi tên, cho phép tạo ra nhiều biểu diễn cây phân tích cú pháp dễ đọc hơn cho con người
mã thông báo. ISTERMINAL(x)Trả lại True cho các giá trị mã thông báo đầu cuối
mã thông báo. ISNONTERMINAL(x)Trả lại True cho các giá trị mã thông báo không đầu cuối
mã thông báo. ISEOF(x)Trả về True nếu x là điểm đánh dấu cho biết kết thúc đầu vào
Các hằng số mã thông báo là
mã thông báo. ENDMARKERmã thông báo. TÊNmã thông báo. NUMBERmã thông báo. STRINGmã thông báo. NEWLINEmã thông báo. INDENTmã thông báo. DEDENTmã thông báo. LPARGiá trị mã thông báo cho "("
mã thông báo. RPARGiá trị mã thông báo cho ")"
mã thông báo. LSQBGiá trị mã thông báo cho "["
mã thông báo. RSQBGiá trị mã thông báo cho "]"
mã thông báo. ĐẠI TRÀNGGiá trị mã thông báo cho ":"
mã thông báo. DẤU PHÉPGiá trị mã thông báo cho Grammar/Tokens0
mã thông báo. MỘT NỬAGiá trị mã thông báo cho Grammar/Tokens1
mã thông báo. THÊMGiá trị mã thông báo cho Grammar/Tokens2
mã thông báo. DẤU TRỪGiá trị mã thông báo cho Grammar/Tokens3
mã thông báo. NGÔI SAOGiá trị mã thông báo cho Grammar/Tokens4
mã thông báo. GẠCH CHÉOGiá trị mã thông báo cho Grammar/Tokens5
mã thông báo. VBAGiá trị mã thông báo cho Grammar/Tokens6
mã thông báo. AmpeGiá trị mã thông báo cho Grammar/Tokens7
mã thông báo. ÍT HƠNGiá trị mã thông báo cho Grammar/Tokens8
mã thông báo. LỚN HƠNGiá trị mã thông báo cho Grammar/Tokens9
mã thông báo. CÔNG BẰNGGiá trị mã thông báo cho True0
mã thông báo. CHẤMGiá trị mã thông báo cho True1
mã thông báo. PHẦN TRĂMGiá trị mã thông báo cho True2
mã thông báo. LBRACEGiá trị mã thông báo cho True3
mã thông báo. RBRACEGiá trị mã thông báo cho True4
mã thông báo. BÌNH ĐẲNGGiá trị mã thông báo cho True5
mã thông báo. KHÔNG CÔNG BẰNGGiá trị mã thông báo cho True6
mã thông báo. ÍT HẠIGiá trị mã thông báo cho True7
mã thông báo. TUYỆT VỜIGiá trị mã thông báo cho True8
mã thông báo. dấu ngãGiá trị mã thông báo cho True9
mã thông báo. VÒNG MẶTGiá trị mã thông báo cho True0
mã thông báo. DỊCH TRÁIGiá trị mã thông báo cho True1
mã thông báo. SHIFT PHẢIGiá trị mã thông báo cho True2
mã thông báo. NHÂN ĐÔIGiá trị mã thông báo cho True3
mã thông báo. TUYỆT VỜIGiá trị mã thông báo cho True4
mã thông báo. CHẤT LƯỢNG KHOÁNGGiá trị mã thông báo cho True5
mã thông báo. TIÊU CHUẨNGiá trị mã thông báo cho True6
mã thông báo. SASHEQUALGiá trị mã thông báo cho True7
mã thông báo. PHẦN TRĂMGiá trị mã thông báo cho True8
mã thông báo. AMPREQUALGiá trị mã thông báo cho True9
mã thông báo. VBAREQUALGiá trị mã thông báo cho True0
mã thông báo. VÒNG MẶT LINH HOẠTGiá trị mã thông báo cho True1
mã thông báo. SHIFTEQUAL TRÁIGiá trị mã thông báo cho True2
mã thông báo. PHẢISHIFTEQUALGiá trị mã thông báo cho True3
mã thông báo. TIÊU CHUẨN NHÂN ĐÔIGiá trị mã thông báo cho True4
mã thông báo. NHÂN ĐÔIGiá trị mã thông báo cho True5
mã thông báo. NHÂN ĐÔIGiá trị mã thông báo cho True6
mã thông báo. TẠIGiá trị mã thông báo cho True7
mã thông báo. TUYỆT VỜIGiá trị mã thông báo cho True8
mã thông báo. RẰMGiá trị mã thông báo cho True9
mã thông báo. dấu chấm lửngGiá trị mã thông báo cho "("0
mã thông báo. COLONEQUALGiá trị mã thông báo cho "("1
mã thông báo. OPmã thông báo. ĐANG CHỜmã thông báo. ASYNCmã thông báo. TYPE_IGNOREmã thông báo. TYPE_COMMENTmã thông báo. SOFT_KEYWORDmã thông báo. ERRORTOKENmã thông báo. N_TOKENSmã thông báo. NT_OFFSETCác giá trị loại mã thông báo sau không được trình mã thông báo C sử dụng nhưng cần thiết cho mô-đun
mã thông báo. NHẬN XÉTGiá trị mã thông báo được sử dụng để biểu thị nhận xét
mã thông báo. NLGiá trị mã thông báo được sử dụng để biểu thị một dòng mới không kết thúc. Mã thông báo cho biết phần cuối của một dòng mã Python hợp lý;
mã thông báo. MÃ HÓAGiá trị mã thông báo cho biết mã hóa được sử dụng để giải mã byte nguồn thành văn bản. Mã thông báo đầu tiên được trả về sẽ luôn là mã thông báo "("6
mã thông báo. TYPE_COMMENTGiá trị mã thông báo cho biết rằng một loại nhận xét đã được công nhận. Các mã thông báo như vậy chỉ được tạo khi được gọi với "("8