Hướng dẫn correlation between numerical and categorical variable python - mối tương quan giữa python biến số và phân loại

Tham gia cộng đồng Dzone và có được trải nghiệm thành viên đầy đủ.

Tham gia miễn phí

Trước khi tạo bất kỳ mô hình học máy nào trên bộ dữ liệu bảng, thông thường chúng tôi kiểm tra xem có mối quan hệ giữa các biến độc lập và mục tiêu hay không. Điều này có thể được thực hiện bằng cách đo lường mối tương quan giữa hai biến. Trong Python, Pandas cung cấp một hàm, & nbsp; ________ 2, & nbsp; để tìm mối tương quan giữa các biến số., to find the correlation between numeric variables only.

Trong bài viết này, chúng ta sẽ xem làm thế nào để tìm ra mối tương quan giữa các biến phân loại và liên tục.

Trường hợp 1: Khi một biến độc lập chỉ có hai giá trị

Điểm tương quan biserial

Nếu một biến phân loại chỉ có hai giá trị (nghĩa là true/false), thì chúng ta có thể chuyển đổi nó thành một số & nbsp; kiểu dữ liệu (0 và 1). Vì nó trở thành một biến số, chúng ta có thể tìm ra mối tương quan bằng cách sử dụng chức năng & nbsp; ____ 2 & nbsp;

Chúng ta hãy tạo một khung dữ liệu sẽ bao gồm hai cột: loại nhân viên (trốngpe) & nbsp; và tiền lương.Employee Type (EmpType) and Salary.

Cố tình, chúng tôi sẽ chỉ định nhiều tiền lương hơn cho trốngPE1. Bằng cách này, chúng tôi sẽ nhận được một số mối tương quan giữa trống và tiền lương.

Tạo DataFrame với các thuộc tính sau:

• Mức lương trung bình (trung bình) của & nbsp; ____ 4 & nbsp; là 60 với độ lệch chuẩn là năm.

• Mức lương trung bình (trung bình) của & nbsp; ____ 5 & nbsp; là 50 với độ lệch chuẩn là năm. is 50 with a standard deviation of five.

import pandas as pd
import numpy as np

num1=np.random.normal(loc=60,scale=5,size=100)
df1=pd.DataFrame(num1,columns=['Salary'])
df1['Type']='EmpType1'

num2=np.random.normal(loc=50,scale=5,size=100)
df2=pd.DataFrame(num2,columns=['Salary'])
df2['Type']='EmpType2'


df=pd.concat([df1,df2],axis=0)
# Since Categorical variable 'Type' has only 2 values we will convert it into numeric (0 and 1) datatype.

df['TypeInt']=(df['Type']=='EmpType1').astype(int)
df.corr()

Đầu ra

Mối tương quan giữa rỗng và lương là 0,7. Vì vậy, chúng tôi có thể xác định nó có tương quan. & NBSP;

Trường hợp 2: Khi các biến độc lập có nhiều hơn hai giá trị

ANOVA (Phân tích phương sai)

Chúng tôi sẽ chỉ định nhiều tiền lương hơn cho & nbsp; ____ 4, mức lương trung bình cho & nbsp; ____ 5 và mức lương thấp cho & nbsp; ____ ____ 8. Bằng cách này, chúng tôi sẽ nhận được một số mối tương quan giữa trống và tiền lương.

• Mức lương trung bình của & nbsp; ________ 4 & nbsp; là 90 với độ lệch chuẩn là năm.

• Mức lương trung bình của & nbsp; ________ 5 & nbsp; là 70 với độ lệch chuẩn là năm.

• Mức lương trung bình của & nbsp; ________ 8 & nbsp; là 50 với độ lệch chuẩn là năm. is 50 with a standard deviation of five.

num1=np.random.normal(loc=90,scale=5,size=100)
df1=pd.DataFrame(num1,columns=['Salary'])
df1['Type']='EmpType1'

num2=np.random.normal(loc=70,scale=5,size=100)
df2=pd.DataFrame(num2,columns=['Salary'])
df2['Type']='EmpType2'

num3=np.random.normal(loc=50,scale=5,size=100)
df3=pd.DataFrame(num3,columns=['Salary'])
df3['Type']='EmpType3'

df=pd.concat([df1,df2,df3],axis=0)

from scipy import stats

F, p = stats.f_oneway(df[df.Type=='EmpType1'].Salary,
                      df[df.Type=='EmpType2'].Salary,
                      df[df.Type=='EmpType3'].Salary)

print(F)

Đầu ra chúng tôi nhận được là: 1443.6261 & nbsp;

• Vì mức lương trung bình của ba & nbsp; loại nhân viên là 90, 70 và 50 & nbsp; (với độ lệch chuẩn là năm) điểm F là 1444.F score is 1444.
• Nếu mức lương trung bình của ba & nbsp; loại nhân viên là 60, 55, 50 điểm F là 86.F score is 86.
• Và nếu mức lương trung bình & nbsp; của ba & nbsp; loại nhân viên là 51, 50, 49 (gần như giống nhau) thì điểm F sẽ gần với 0, & nbsp; tức là. Không có mối tương quan.F score will be close to 0, i.e. there's no correlation.
• Điểm F lớn hơn & nbsp; giá trị càng cao thì tương quan sẽ càng cao.

Bạn có thể tải xuống và chạy đầy đủ mã từ liên kết này.

Tương quan (hình học dự án) Python (ngôn ngữ) Python (language)

Ý kiến ​​được thể hiện bởi những người đóng góp Dzone là của riêng họ.

Kịch bản này có thể xảy ra khi bạn đang thực hiện hồi quy hoặc phân loại trong học máy.

• Hồi quy: Biến đích là số và một trong những yếu tố dự đoán là phân loại: The target variable is numeric and one of the predictors is categorical
• Phân loại: Biến mục tiêu là phân loại và một trong những yếu tố dự đoán theo số: The target variable is categorical and one of the predictors in numeric

Trong cả hai trường hợp này, sức mạnh của mối tương quan giữa các biến có thể được đo bằng thử nghiệm ANOVA.ANOVA test.

ANOVA là viết tắt của phân tích phương sai. Vì vậy, về cơ bản, các biện pháp thử nghiệm này nếu có bất kỳ sự khác biệt đáng kể nào giữa các phương tiện của các giá trị của biến số cho mỗi giá trị phân loại. Đây là một cái gì đó mà bạn cũng có thể hình dung bằng cách sử dụng cốt truyện hộp.

Các mục dưới đây phải được ghi nhớ về bài kiểm tra giả thuyết ANOVA

• Giả thuyết Null (H0): Các biến không tương quan với nhau
• Giá trị P: Xác suất của giả thuyết null là đúng
• Chấp nhận giả thuyết null nếu giá trị p> 0,05. Có nghĩa là các biến không tương quan
• Bác bỏ giả thuyết null nếu giá trị p

Trong ví dụ dưới đây, chúng tôi đang cố gắng đo lường nếu có bất kỳ mối tương quan nào giữa FurferType trên Carprices. Ở đây FuelType là một yếu tố dự đoán phân loại và Carprices là biến mục tiêu số.

Đầu ra mẫu

Vì đầu ra của giá trị p gần như bằng không, do đó, chúng tôi từ chối H0. Có nghĩa là các biến tương quan với nhau.

Nhà khoa học dữ liệu chính

Farukh là một nhà đổi mới trong việc giải quyết các vấn đề công nghiệp bằng cách sử dụng trí tuệ nhân tạo. Chuyên môn của ông được hỗ trợ với 10 năm kinh nghiệm trong ngành. Là một nhà khoa học dữ liệu cao cấp, anh ta chịu trách nhiệm thiết kế giải pháp AI/ML để cung cấp mức tăng tối đa cho khách hàng. Là một nhà lãnh đạo tư tưởng, trọng tâm của ông là giải quyết các vấn đề kinh doanh chính của ngành công nghiệp CPG. Ông đã làm việc trên các lĩnh vực khác nhau như viễn thông, bảo hiểm và hậu cần. Ông đã làm việc với các nhà lãnh đạo công nghệ toàn cầu bao gồm Infosys, IBM và các hệ thống liên tục. Niềm đam mê của anh ấy để dạy truyền cảm hứng cho anh ấy để tạo ra trang web này!