Ghi chú bài giảng khoa học dữ liệu python

Khoa học dữ liệu là gì?

Chúng ta hãy bắt đầu tìm hiểu về Khoa học dữ liệu với Python bằng cách hiểu đầu tiên về khoa học dữ liệu. Khoa học dữ liệu là tìm kiếm và khám phá dữ liệu trong thế giới thực và sử dụng kiến ​​thức đó để giải quyết các vấn đề kinh doanh. Một số ví dụ về khoa học dữ liệu là

• Dự đoán khách hàng - Hệ thống có thể được đào tạo dựa trên các mẫu hành vi của khách hàng để dự đoán khả năng khách hàng mua sản phẩm
• Lập kế hoạch dịch vụ - Các nhà hàng có thể dự đoán có bao nhiêu khách hàng sẽ ghé thăm vào cuối tuần và lập kế hoạch kiểm kê thực phẩm của họ để đáp ứng nhu cầu

Bây giờ bạn đã biết khoa học dữ liệu là gì và trước khi chúng ta đi sâu vào chủ đề Khoa học dữ liệu với Python, hãy nói về Python

Học hỏi từ những người giỏi nhất trong ngành khoa học dữ liệu

Tại sao lại là trăn?

Khi nói đến khoa học dữ liệu, chúng ta cần một số loại ngôn ngữ hoặc công cụ lập trình, như Python. Mặc dù có các công cụ khác dành cho khoa học dữ liệu, như R và SAS, chúng tôi sẽ tập trung vào Python và lợi ích của nó đối với khoa học dữ liệu trong bài viết này.  

Python là một ngôn ngữ lập trình đã trở nên rất phổ biến trong thời gian gần đây. Nó đã được sử dụng trong khoa học dữ liệu, IoT, AI và các công nghệ khác, điều này đã làm tăng thêm tính phổ biến của nó.  

Python được sử dụng làm ngôn ngữ lập trình cho khoa học dữ liệu vì nó chứa các công cụ tốn kém từ góc độ toán học hoặc thống kê. Đó là một trong những lý do quan trọng khiến các nhà khoa học dữ liệu trên toàn thế giới sử dụng Python. Nếu bạn theo dõi các xu hướng trong vài năm qua, bạn sẽ nhận thấy rằng Python đã trở thành ngôn ngữ lập trình được lựa chọn, đặc biệt là cho khoa học dữ liệu

Có một số lý do khác khiến Python là một trong những ngôn ngữ lập trình được sử dụng nhiều nhất cho khoa học dữ liệu, bao gồm

• Tốc độ - Python tương đối nhanh hơn các ngôn ngữ lập trình khác
• Tính khả dụng - Có một số lượng đáng kể các gói có sẵn mà người dùng khác đã phát triển, có thể được sử dụng lại
• Mục tiêu thiết kế - Các vai trò cú pháp trong Python trực quan và dễ hiểu, do đó giúp xây dựng các ứng dụng với cơ sở mã có thể đọc được

Nếu bạn muốn tìm hiểu cách cài đặt Python, hãy xem video hướng dẫn bên dưới về Khoa học dữ liệu với Python -

Học miễn phí. Nhận quyền truy cập vào thư viện hơn 2000 video học tập của chúng tôi. Bạn còn chờ gì nữa?

Bây giờ bạn đã biết cách cài đặt Python, hãy xem các thư viện khác nhau có sẵn trong Python dành cho khoa học dữ liệu như một phần trong quá trình học của chúng ta về Khoa học dữ liệu với Python

Thư viện Python để phân tích dữ liệu

Python là một ngôn ngữ lập trình đơn giản để học và có một số thứ cơ bản mà bạn có thể làm với nó, như thêm, in câu lệnh, v.v. Tuy nhiên, nếu bạn muốn thực hiện phân tích dữ liệu, bạn cần nhập các thư viện cụ thể. Một số ví dụ bao gồm

• Pandas - Được sử dụng cho các hoạt động dữ liệu có cấu trúc
• NumPy - Thư viện mạnh mẽ giúp bạn tạo mảng n chiều
• SciPy - Cung cấp các khả năng khoa học, như đại số tuyến tính và biến đổi Fourier
• Matplotlib - Chủ yếu được sử dụng cho mục đích trực quan hóa
• Scikit-learning - Được sử dụng để thực hiện tất cả các hoạt động học máy

Ngoài những thư viện này, còn có các thư viện khác, như

• Biểu đồ mạng & tôi
• TenorFlow
• ĐẹpSúp
• hệ điều hành

Bây giờ chúng ta hãy xem chi tiết một số thư viện Python quan trọng nhất

khoa học viễn tưởng

Đúng như tên gọi, nó là một thư viện khoa học bao gồm một số chức năng đặc biệt

• Nó hiện hỗ trợ các chức năng đặc biệt, tích hợp, bộ giải phương trình vi phân thông thường (ODE), tối ưu hóa độ dốc, v.v.
• Nó có các phiên bản đầy đủ tính năng của các mô-đun đại số tuyến tính
• Nó được xây dựng trên NumPy

NumPy

NumPy là gói cơ bản cho tính toán khoa học với Python. Nó chứa

• Các đối tượng mảng N chiều mạnh mẽ
• Công cụ tích hợp mã C/C++ và Fortran
• Nó có các khả năng đại số tuyến tính, biến đổi Fourier và số ngẫu nhiên hữu ích

gấu trúc

Pandas được sử dụng cho các hoạt động và thao tác dữ liệu có cấu trúc

• Thư viện phân tích dữ liệu hữu ích nhất trong Python
• Công cụ tăng cường sử dụng Python trong cộng đồng khoa học dữ liệu
• Được sử dụng rộng rãi để xử lý và chuẩn bị dữ liệu

Tiếp theo, trong phần học Khoa học dữ liệu với Python, chúng ta hãy tìm hiểu phân tích khám phá bằng Pandas

khóa học miễn phí. Thư viện Python cho Khoa học dữ liệu

Phân tích thăm dò sử dụng Pandas

Phân tích dữ liệu khám phá là một cách tiếp cận được sử dụng để phân tích các tập dữ liệu lớn để tóm tắt các đặc điểm chính của chúng. Quá trình này sử dụng các phương pháp trực quan để rút ra những hiểu biết có giá trị

Bây giờ chúng ta hãy hiểu hai thuật ngữ phổ biến nhất được sử dụng trong Pandas

• Sê-ri - Đây là đối tượng một chiều có thể chứa bất kỳ loại dữ liệu nào, chẳng hạn như số nguyên, số float và chuỗi

• Dataframe - Một đối tượng hai chiều có thể có các cột với các kiểu dữ liệu có khả năng khác nhau

Quả sung. DataFrame có 4 hàng và 3 cột

Hãy khám phá thêm về cách sử dụng Pandas để dự đoán liệu đơn xin vay của một khách hàng cụ thể có được chấp thuận hay không

1. Nhập các thư viện cần thiết và đọc tập dữ liệu bằng hàm read_csv()

2. Kiểm tra tóm tắt của tập dữ liệu bằng hàm description()

3. Trực quan hóa việc phân phối số tiền cho vay

4. Trực quan hóa phân phối cho thu nhập của người nộp đơn.  

khóa học miễn phí. Python cho người mới bắt đầu

5. Trực quan hóa phân phối cho các giá trị phân loại

Nếu bạn muốn tìm hiểu thêm về phân tích khám phá bằng Pandas, hãy xem video Khoa học dữ liệu với Python của Simplilearn, video này có thể giúp ích cho bạn

Chúng ta có thể thấy rằng các cột như LoanAmount và ApplicantIncome chứa một số giá trị cực đoan. Chúng ta cần xử lý dữ liệu này bằng các kỹ thuật sắp xếp dữ liệu để chuẩn hóa và chuẩn hóa dữ liệu

Bây giờ chúng ta sẽ xem xét sắp xếp dữ liệu bằng cách sử dụng Pandas như một phần trong quá trình tìm hiểu Khoa học dữ liệu với Python

Sắp xếp dữ liệu bằng cách sử dụng Pandas

Sắp xếp dữ liệu đề cập đến quá trình làm sạch và hợp nhất các tập dữ liệu lộn xộn và phức tạp. Sau đây là một số lợi ích của việc sắp xếp dữ liệu

• Tiết lộ thêm thông tin về dữ liệu của bạn
• Cho phép các kỹ năng ra quyết định trong tổ chức
• Giúp thu thập dữ liệu có ý nghĩa và chính xác cho doanh nghiệp

Trên thực tế, hầu hết dữ liệu mà một doanh nghiệp tạo ra sẽ lộn xộn và thiếu các giá trị. Tập dữ liệu khoản vay có các giá trị bị thiếu trong một số cột của nó

Để kiểm tra xem dữ liệu của bạn có thiếu giá trị không

Có nhiều cách khác nhau để điền vào các giá trị còn thiếu. Việc quyết định sử dụng tham số nào khi điền chúng vào sẽ phụ thuộc vào kịch bản kinh doanh

Dưới đây là một ví dụ về việc thay thế các giá trị bị thiếu bằng cách lấy giá trị trung bình của một cột cụ thể

Bạn có thể kiểm tra các loại dữ liệu cho từng cột bằng cách sử dụng dtypes

Bạn cũng có thể kết hợp và hợp nhất các khung dữ liệu bằng các phương pháp ghép và hợp nhất đơn giản

Để tìm hiểu cách bạn có thể biết liệu dữ liệu của mình có thiếu giá trị hay không, bạn có thể xem video Khoa học dữ liệu với Python của Simplilearn

Bây giờ chúng ta đã hoàn thành các bước tranh luận, hãy bắt đầu xây dựng mô hình bằng cách sử dụng scikit-learning để nâng cao khả năng học của chúng ta về Khoa học dữ liệu với Python

Tòa nhà mô hình

• Chúng tôi cần nhập các mô hình khác nhau từ mô-đun scikit-learning

• Trích xuất các biến độc lập và phụ thuộc từ tập dữ liệu

• Chia tập dữ liệu thành đào tạo và kiểm tra - 75% cho đào tạo và 25% cho kiểm tra

Chúng ta sẽ sử dụng thuật toán Logistic Regression để xây dựng mô hình. Hồi quy logistic phù hợp khi biến phụ thuộc là nhị phân

• Chia tỷ lệ tính năng để chuẩn hóa các tính năng độc lập có trong dữ liệu trong một phạm vi cố định

• Lắp dữ liệu vào mô hình hồi quy logistic

• Dự đoán các giá trị của tập kiểm tra

• Xây dựng ma trận nhầm lẫn để đánh giá hiệu suất của mô hình

Bây giờ chúng ta hãy hiểu ma trận nhầm lẫn quyết định độ chính xác của mô hình như thế nào

Sau đây sẽ tính toán độ chính xác của mô hình

(Dương thực (TP) + Âm tính thực (TN)) / Tổng

(103+18)/150 = 0. 80

Độ chính xác là khi nó dự đoán có và tần suất nó đúng

Đúng Tích cực / Dự đoán Có = 103/130 = 0. 79

• Tìm độ chính xác của mô hình

Như bạn có thể thấy, chúng tôi đã xây dựng thành công mô hình hồi quy logistic với độ chính xác 80 phần trăm

Các khóa học về khoa học dữ liệu và AI MIỄN PHÍ

Phần kết luận

Sau khi đọc bài viết Khoa học dữ liệu với Python này, bạn đã biết khoa học dữ liệu là gì, tại sao nó quan trọng và các thư viện khác nhau liên quan đến khoa học dữ liệu. Bạn đã học các kỹ năng khác nhau cần thiết khi nói đến khoa học dữ liệu, chẳng hạn như phân tích dữ liệu khám phá, sắp xếp dữ liệu và xây dựng mô hình. Cuối cùng, bạn đã xây dựng một mô hình bằng cách sử dụng Hồi quy logistic, giúp dự đoán liệu khoản vay của một khách hàng cụ thể có được chấp thuận hay không

Bắt đầu

Nếu bạn muốn bắt đầu sự nghiệp của mình trong Khoa học dữ liệu, hãy xem Khóa học cấp chứng chỉ Python về Khoa học dữ liệu của chúng tôi. Khóa học trực tuyến này cung cấp cho bạn quyền truy cập vào 68 giờ Học tập Kết hợp, quyền truy cập trọn đời vào cách học theo nhịp độ của bản thân, học tập tương tác với phòng thí nghiệm máy tính xách tay Jupyter, các buổi tư vấn với các chuyên gia trong ngành và bốn dự án dựa trên ngành để có trải nghiệm thực tế. Bạn còn chờ gì nữa?