Tìm kiếm trong tệp csv Python pandas

Trong bài viết này, bạn sẽ tìm hiểu các tính năng khác nhau của hàm read_csv của pandas ngoài việc tải tệp CSV và các tham số có thể được tùy chỉnh để có kết quả tốt hơn từ hàm read_csv

gấu trúc. read_csv

• cú pháp. gấu trúc. read_csv( filepath_or_buffer, sep, tiêu đề, index_col, usecols, tiền tố, dtype, bộ chuyển đổi, bỏ qua, bỏ qua, nrows, na_values, parse_dates) Mục đích. Đọc tệp giá trị được phân tách bằng dấu phẩy (csv) vào DataFrame. Cũng hỗ trợ tùy chọn lặp lại hoặc chia tệp thành nhiều phần
• Thông số
  • filepath_or_buffer. str, đối tượng đường dẫn hoặc đối tượng giống tệp Mọi đường dẫn chuỗi hợp lệ đều được chấp nhận. Chuỗi cũng có thể là một URL. Đối tượng đường dẫn đề cập đến os. Con đường giống như. Các đối tượng giống như tệp có phương thức read(), chẳng hạn như xử lý tệp (e. g. thông qua chức năng mở tích hợp) hoặc StringIO
  • tháng chín. str, (Mặc định là ',') Ranh giới ngăn cách phân biệt giữa hai mục dữ liệu tiếp theo bất kỳ
  • tiêu đề. int, danh sách int, (Mặc định là 'suy ra') (Các) số hàng để sử dụng làm tên cột và phần đầu của dữ liệu. Hành vi mặc định là suy ra tên cột. nếu không có tên nào được chuyển thì hành vi giống với header=0 và tên cột được suy ra từ dòng đầu tiên của tệp
  • tên. giống như mảng Danh sách các tên cột sẽ sử dụng. Nếu tệp chứa hàng tiêu đề, thì bạn nên chuyển rõ ràng header=0 để ghi đè tên cột. Bản sao trong danh sách này không được phép
  • chỉ mục_col. int, str, chuỗi int/str hoặc Sai, (Mặc định Không có) (Các) Cột để sử dụng làm nhãn hàng của DataFrame, được cung cấp dưới dạng tên chuỗi hoặc chỉ mục cột. Nếu một chuỗi int/str được đưa ra, Multi Index được sử dụng
  • sử dụng. giống như danh sách hoặc có thể gọi Trả về một tập hợp con của các cột. Nếu có thể gọi được, hàm có thể gọi được sẽ được đánh giá dựa trên tên cột, trả về các tên mà hàm có thể gọi được đánh giá là True
  • tiếp đầu ngữ. str Tiền tố để thêm vào số cột khi không có tiêu đề, e. g. 'X' cho X0, X1
  • gõ. Nhập tên hoặc chính tả của cột -> nhập Kiểu dữ liệu cho dữ liệu hoặc cột. e. g. {'Một'. np. float64, 'b'. np. int32, 'c'. ‘Int64’} Sử dụng str hoặc đối tượng cùng với cài đặt na_values ​​phù hợp để giữ nguyên và không diễn giải dtype
  • bộ chuyển đổi. dict Dict của các hàm để chuyển đổi giá trị trong các cột nhất định. Các khóa có thể là số nguyên hoặc nhãn cột
  • mũi dùi. list-like, int hoặc callable Số dòng cần bỏ qua (được lập chỉ mục 0) hoặc số dòng cần bỏ qua (int) ở đầu tệp. Nếu có thể gọi được, hàm có thể gọi được sẽ được đánh giá dựa trên các chỉ số hàng, trả về True nếu hàng sẽ bị bỏ qua và Sai nếu không
  • người bỏ qua. int Số dòng ở dưới cùng của tệp để bỏ qua
  • cau mày. int Số hàng của tập tin để đọc. Hữu ích để đọc các phần của tệp lớn
  • na_values. scalar, str, list-like hoặc dict Các chuỗi bổ sung để nhận dạng là NA/NaN. Nếu dict được thông qua, các giá trị NA cụ thể trên mỗi cột. Theo mặc định, các giá trị sau được hiểu là NaN. ‘’, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1. #IND', '-1. #QNAN’, ‘-NaN’, ‘-nan’, ‘1. #IND', '1. #QNAN’, ‘’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘n/a’, ‘nan’, ‘null’
  • parse_dates. bool hoặc danh sách int hoặc tên hoặc danh sách danh sách hoặc dict, (mặc định là Sai) Nếu được đặt thành True, sẽ cố phân tích cú pháp chỉ mục, nếu không thì phân tích cú pháp các cột được chuyển

• trả lại. DataFrame hoặc TextParser, Tệp giá trị được phân tách bằng dấu phẩy (CSV) được trả về dưới dạng cấu trúc dữ liệu hai chiều với các trục được gắn nhãn. Để biết danh sách đầy đủ các tham số, hãy tham khảo tài liệu chính thức

Đọc tệp CSV

Hàm pandas

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Dấu phân cách mặc định

Để đọc tệp CSV, hãy gọi hàm pandas

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Bước 1. nhập gấu trúc

import pandas as pd

Bước 2. Đọc CSV

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Dấu phân cách tùy chỉnh, khác nhau

Theo mặc định, CSV được phân tách bằng dấu phẩy. Nhưng bạn cũng có thể sử dụng các ngăn cách khác. Hàm

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Hãy tải một tệp có dấu phân cách

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Đặt hàng bất kỳ làm tiêu đề cột

Hãy xem khung dữ liệu được tạo bằng hàm pandas read_csv mà không có bất kỳ tham số tiêu đề nào

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Hàng

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

Ghi chú. Đánh số hàng bắt đầu từ

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

Đổi tên tiêu đề cột

Trong khi đọc tệp CSV, bạn có thể đổi tên các tiêu đề cột bằng cách sử dụng tham số

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Để tránh tiêu đề cũ được suy ra dưới dạng một hàng cho khung dữ liệu, bạn có thể cung cấp tham số

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Chương trình nhà khoa học dữ liệu công nghiệp MLPlus

Bạn có muốn học Khoa học dữ liệu từ các Nhà khoa học dữ liệu có kinh nghiệm không?

Xây dựng sự nghiệp khoa học dữ liệu của bạn với bằng cấp được ngành công nhận trên toàn cầu. Giải quyết các dự án với dữ liệu thực của công ty và trở thành Nhà khoa học dữ liệu được chứng nhận trong vòng chưa đầy 12 tháng.

Nhận khóa học Python hoàn chỉnh miễn phí

Xây dựng sự nghiệp khoa học dữ liệu của bạn với bằng cấp được ngành công nhận trên toàn cầu. Có được tư duy, sự tự tin và các kỹ năng khiến Nhà khoa học dữ liệu trở nên có giá trị

Đang tải CSV không có tiêu đề cột trong pandas

Có khả năng tệp CSV bạn tải không có bất kỳ tiêu đề cột nào. Pandas sẽ đặt hàng đầu tiên làm tiêu đề cột trong trường hợp mặc định

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

Để tránh bất kỳ hàng nào được suy ra là tiêu đề cột, bạn có thể chỉ định

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header parameter
df = pd.read_csv("data1.csv", header=1)
df.head()

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

Thêm Tiền tố vào các cột được đánh số

Bạn cũng có thể cung cấp tiền tố cho các tiêu đề cột được đánh số bằng cách sử dụng tham số

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file with header=None and prefix=column_
df = pd.read_csv("data3.csv", header=None, prefix='column_')
df.head()

Đặt (các) cột bất kỳ làm Chỉ mục

Theo mặc định, Pandas thêm chỉ mục ban đầu vào khung dữ liệu được tải từ tệp CSV. Bạn có thể kiểm soát hành vi này và đặt bất kỳ cột nào trong CSV của mình làm chỉ mục bằng cách sử dụng tham số

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Nó lấy tên của cột mong muốn phải được tạo làm chỉ mục

Trường hợp 1. Tạo một cột làm chỉ mục

Trường hợp 2. Tạo nhiều cột làm chỉ mục

Đối với hai hoặc nhiều cột được tạo dưới dạng chỉ mục, hãy chuyển chúng dưới dạng danh sách

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Chọn cột khi đọc CSV

Trong thực tế, tất cả các cột của tệp CSV đều không quan trọng. Bạn chỉ có thể chọn những cột cần thiết sau khi tải tệp nhưng nếu biết trước những cột đó, bạn có thể tiết kiệm không gian và thời gian

Tham số

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Chọn cột bằng danh sách

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Lựa chọn các cột bằng các hàm có thể gọi

Tham số

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Chọn/bỏ qua hàng khi đọc CSV

Bạn có thể bỏ qua hoặc chọn một số hàng cụ thể từ tập dữ liệu bằng cách sử dụng hàm

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Tất cả đều có chức năng khác nhau. Hãy thảo luận về từng người trong số họ một cách riêng biệt

A.

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

B.

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Bỏ qua bằng cách chỉ định chỉ số hàng

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Bỏ qua bằng cách sử dụng chức năng gọi lại

Tham số

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

C.

# Read the csv file with names parameter 
df = pd.read_csv("data.csv", names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Thay đổi kiểu dữ liệu của cột

Bạn có thể chỉ định loại dữ liệu của các cột trong khi đọc tệp CSV. Tham số

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Loại dữ liệu của

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")

# First 5 rows
df.head()

Loại dữ liệu của

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Phân tích ngày trong khi đọc CSV

Giá trị ngày giờ rất quan trọng để phân tích dữ liệu. Bạn có thể chuyển đổi một cột thành cột loại ngày giờ trong khi đọc CSV theo hai cách

Phương pháp 1. Tạo cột mong muốn làm chỉ mục và vượt qua

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Phương pháp 2. Chuyển cột mong muốn trong

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Thêm nhiều giá trị NaN

Thư viện gấu trúc có thể xử lý rất nhiều giá trị bị thiếu. Nhưng có nhiều trường hợp dữ liệu chứa các giá trị bị thiếu ở dạng không có trong danh sách giá trị NA của gấu trúc. Nó không hiểu 'thiếu', 'không tìm thấy' hoặc 'không khả dụng' là các giá trị bị thiếu

Vì vậy, bạn cần chỉ định chúng là thiếu. Để thực hiện việc này, hãy sử dụng tham số

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Đang tải CSV mà không chỉ định

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Đang tải CSV với chỉ định

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Chuyển đổi giá trị của cột khi đọc CSV

Bạn có thể chuyển đổi, sửa đổi hoặc chuyển đổi giá trị của các cột của tệp CSV trong khi tải chính tệp CSV đó. Điều này có thể được thực hiện bằng cách sử dụng tham số

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

Hãy chuyển đổi các giá trị được phân tách bằng dấu phẩy (i. e 19,98,12,341) của cột

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Mẹo thiết thực

• Trước khi tải tệp CSV vào khung dữ liệu gấu trúc, hãy luôn xem qua tệp. Nó sẽ giúp bạn ước tính cột nào bạn nên nhập và xác định loại dữ liệu mà cột của bạn nên có
• Bạn cũng nên theo dõi tổng số hàng của tập dữ liệu. Hệ thống có RAM 4 GB có thể không tải được 7-8 triệu hàng

Kiểm tra kiến ​​thức của bạn

Q1. Bạn không thể tải các tệp bằng dấu phân cách

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Trả lời. SAI. Bởi vì, bạn có thể sử dụng tham số

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

quý 2. Việc sử dụng tham số

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Trả lời. Tham số

# Read the csv file
df = pd.read_csv("data3.csv")
df.head()

Q3. Làm thế nào bạn sẽ làm cho gấu trúc nhận ra rằng một cột cụ thể là loại ngày giờ?

Trả lời. Bằng cách sử dụng tham số

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

Q4. Tập dữ liệu chứa các giá trị bị thiếu

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

Trả lời. Bằng cách sử dụng tham số

# Read the csv file with header and names parameter 
df = pd.read_csv("data.csv", header=0, names=['Ranking', 'ST Name', 'Pop', 'NS', 'D'])
df.head()

# Read the csv file sep='|'
df = pd.read_csv("data2.csv", sep='|')
df

Q5. Làm cách nào để bạn đọc tệp CSV ở đâu,

1. Tiêu đề của các cột nằm ở hàng thứ 3 (được đánh số từ 1)
2. 5 dòng cuối cùng của tệp có văn bản rác và nên tránh
3. Chỉ những tên cột có chữ cái đầu tiên bắt đầu bằng nguyên âm mới được đưa vào. Giả sử chúng chỉ là một từ

(tên tệp CSV.

# Read the csv file with header=None
df = pd.read_csv("data3.csv", header=None)
df.head()

Trả lời

# Read the csv file
df = pd.read_csv("data1.csv")
df.head()

Bài viết được đóng góp bởi Kaustubh G và Shrivarsheni

MáyHọcPlus

Machine Learning Plus được tạo thành từ một nhóm những người nhiệt tình đam mê Khoa học dữ liệu. Họ giúp các Nhà phát triển, nhà quản lý doanh nghiệp và Nhà khoa học dữ liệu tuyệt vời trở nên giỏi hơn trong công việc của họ

Bạn có thể truy vấn tệp CSV bằng Python không?

Làm cách nào để đọc tệp CSV gấu trúc?

Làm cách nào để đọc các hàng cụ thể từ csv trong gấu trúc?