Tạo tập huấn luyện và kiểm tra trong python

Tầm quan trọng của việc chia nhỏ dữ liệu

Học máy có giám sát là tạo ra các mô hình ánh xạ chính xác các đầu vào đã cho (các biến độc lập hoặc yếu tố dự đoán) với các đầu ra đã cho (biến phụ thuộc hoặc phản hồi)

Cách bạn đo lường độ chính xác của mô hình tùy thuộc vào loại sự cố mà bạn đang cố gắng giải quyết. Trong phân tích hồi quy, bạn thường sử dụng hệ số xác định, sai số trung bình bình phương gốc, sai số tuyệt đối trung bình hoặc các đại lượng tương tự. Đối với các bài toán phân loại, các bạn thường áp dụng các chỉ số về độ chính xác, độ chính xác, độ thu hồi, điểm F1 và các chỉ số liên quan

Các giá trị số được chấp nhận để đo độ chính xác khác nhau giữa các trường. Bạn có thể tìm giải thích chi tiết từ Statistics By Jim, Quora, và nhiều nguồn khác

Điều quan trọng nhất cần hiểu là bạn thường cần đánh giá khách quan để sử dụng đúng các biện pháp này, đánh giá hiệu suất dự đoán của mô hình và xác thực mô hình

Điều này có nghĩa là bạn không thể đánh giá hiệu suất dự đoán của một mô hình với cùng dữ liệu bạn đã sử dụng để đào tạo. Bạn cần đánh giá mô hình bằng dữ liệu mới mà mô hình chưa từng thấy trước đây. Bạn có thể thực hiện điều đó bằng cách tách tập dữ liệu của mình trước khi sử dụng

Điều kiện tiên quyết để sử dụng $ conda install -c anaconda scikit-learn=0.23 7

Bây giờ bạn đã hiểu sự cần thiết phải phân tách tập dữ liệu để thực hiện đánh giá mô hình khách quan và xác định trang bị thiếu hoặc trang bị thừa, bạn đã sẵn sàng tìm hiểu cách phân tách tập dữ liệu của riêng mình

Bạn sẽ sử dụng phiên bản 0. 23. 1 của scikit-learning, hoặc

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

Bạn có thể cài đặt

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

Nếu bạn sử dụng Anaconda, thì có thể bạn đã cài đặt nó rồi. Tuy nhiên, nếu bạn muốn sử dụng một môi trường mới, hãy đảm bảo rằng bạn có phiên bản được chỉ định hoặc sử dụng Miniconda, thì bạn có thể cài đặt

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

Bạn cũng sẽ cần NumPy, nhưng bạn không phải cài đặt riêng. Bạn nên cài đặt nó cùng với

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Ứng dụng của $ conda install -c anaconda scikit-learn=0.23 7

Bạn cần nhập

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>>

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Bây giờ bạn đã nhập cả hai, bạn có thể sử dụng chúng để chia dữ liệu thành tập huấn luyện và tập kiểm tra. Bạn sẽ phân chia đầu vào và đầu ra cùng một lúc, với một lệnh gọi hàm duy nhất

Với

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Trong các ứng dụng học máy được giám sát, thông thường bạn sẽ làm việc với hai trình tự như vậy

1. Một mảng hai chiều với các đầu vào (

   $ conda install -c anaconda scikit-learn=0.23
   

   75)
2. Mảng một chiều có đầu ra (______176)

$ conda install -c anaconda scikit-learn=0.23

• $ conda install -c anaconda scikit-learn=0.23
  

  78 là số xác định kích thước của tập huấn luyện. Nếu bạn cung cấp một

  $ conda install -c anaconda scikit-learn=0.23
  

  79, thì nó phải nằm trong khoảng từ

  $ conda install -c anaconda scikit-learn=0.23
  

  70 đến

  $ conda install -c anaconda scikit-learn=0.23
  

  71 và sẽ xác định phần chia sẻ của tập dữ liệu được sử dụng để thử nghiệm. Nếu bạn cung cấp

  $ conda install -c anaconda scikit-learn=0.23
  

  72, thì nó sẽ đại diện cho tổng số mẫu đào tạo. Giá trị mặc định là

  $ conda install -c anaconda scikit-learn=0.23
  

  73

• $ conda install -c anaconda scikit-learn=0.23
  

  74 là số xác định kích thước của bộ kiểm tra. Nó rất giống với

  $ conda install -c anaconda scikit-learn=0.23
  

  78. Bạn nên cung cấp

  $ conda install -c anaconda scikit-learn=0.23
  

  78 hoặc

  $ conda install -c anaconda scikit-learn=0.23
  

  74. Nếu không được cung cấp, thì phần chia sẻ mặc định của tập dữ liệu sẽ được sử dụng để thử nghiệm là

  $ conda install -c anaconda scikit-learn=0.23
  

  78 hoặc 25 phần trăm

• $ conda install -c anaconda scikit-learn=0.23
  

  79 là đối tượng kiểm soát ngẫu nhiên hóa trong quá trình phân tách. Nó có thể là một

  $ conda install -c anaconda scikit-learn=0.23
  

  72 hoặc một thể hiện của

  >>> import numpy as np
  >>> from sklearn.model_selection import train_test_split
  

  81. Giá trị mặc định là

  $ conda install -c anaconda scikit-learn=0.23
  

  73

• >>> import numpy as np
  >>> from sklearn.model_selection import train_test_split
  

  83 là đối tượng Boolean (

  >>> import numpy as np
  >>> from sklearn.model_selection import train_test_split
  

  84 theo mặc định) xác định xem có xáo trộn tập dữ liệu trước khi áp dụng phân tách hay không

• >>> import numpy as np
  >>> from sklearn.model_selection import train_test_split
  

  85 là một đối tượng giống như mảng, nếu không phải là

  $ conda install -c anaconda scikit-learn=0.23
  

  73, xác định cách sử dụng phân chia tầng

Bây giờ là lúc thử tách dữ liệu. Bạn sẽ bắt đầu bằng cách tạo một tập dữ liệu đơn giản để làm việc với. Bộ dữ liệu sẽ chứa các đầu vào trong mảng hai chiều

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>>

$ conda install -c anaconda scikit-learn=0.23

Để lấy dữ liệu, bạn sử dụng

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Bạn có thể tách cả bộ dữ liệu đầu vào và đầu ra bằng một lệnh gọi hàm duy nhất

>>>

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Đưa ra hai chuỗi, như

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

1. $ conda install -c anaconda scikit-learn=0.23
   

   85. Phần đào tạo của trình tự đầu tiên (______175)

2. $ conda install -c anaconda scikit-learn=0.23
   

   87. Phần thử nghiệm của trình tự đầu tiên (

   $ conda install -c anaconda scikit-learn=0.23
   

   75)

3. $ conda install -c anaconda scikit-learn=0.23
   

   89. Phần huấn luyện của trình tự thứ hai (______176)

4. >>> import numpy as np
   >>> from sklearn.model_selection import train_test_split
   

   01. Phần thử nghiệm của trình tự thứ hai (

   $ conda install -c anaconda scikit-learn=0.23
   

   76)

Bạn có thể nhận được kết quả khác với những gì bạn thấy ở đây. Điều này là do việc chia tách tập dữ liệu là ngẫu nhiên theo mặc định. Kết quả khác nhau mỗi khi bạn chạy chức năng. Tuy nhiên, đây thường không phải là điều bạn muốn

Đôi khi, để làm cho các bài kiểm tra của bạn có thể tái sản xuất, bạn cần phân chia ngẫu nhiên với cùng một đầu ra cho mỗi lệnh gọi hàm. Bạn có thể làm điều đó với tham số

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Trong ví dụ trước, bạn đã sử dụng tập dữ liệu có mười hai quan sát (hàng) và lấy mẫu huấn luyện có chín hàng và mẫu thử nghiệm có ba hàng. Đó là bởi vì bạn đã không chỉ định kích thước mong muốn của tập huấn luyện và tập kiểm tra. Theo mặc định, 25 phần trăm mẫu được chỉ định cho bộ kiểm tra. Tỷ lệ này nói chung là tốt cho nhiều ứng dụng, nhưng không phải lúc nào nó cũng là thứ bạn cần

Thông thường, bạn sẽ muốn xác định rõ ràng quy mô của bộ kiểm tra (hoặc đào tạo) và đôi khi, bạn thậm chí sẽ muốn thử nghiệm với các giá trị khác nhau. Bạn có thể làm điều đó với các tham số

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Sửa đổi mã để bạn có thể chọn kích thước của bộ kiểm tra và nhận kết quả có thể lặp lại

>>>

$ conda install -c anaconda scikit-learn=0.23

Với thay đổi này, bạn sẽ nhận được một kết quả khác với trước đó. Trước đó, bạn đã có một tập huấn luyện gồm chín mục và tập kiểm tra gồm ba mục. Bây giờ, nhờ đối số

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Có một sự khác biệt rất quan trọng nữa giữa hai ví dụ cuối cùng. Bây giờ bạn nhận được cùng một kết quả mỗi khi bạn chạy chức năng. Điều này là do bạn đã sửa bộ tạo số ngẫu nhiên bằng

$ conda install -c anaconda scikit-learn=0.23

Hình dưới đây cho thấy những gì đang xảy ra khi bạn gọi

$ conda install -c anaconda scikit-learn=0.23

Các mẫu của tập dữ liệu được xáo trộn ngẫu nhiên và sau đó được chia thành các tập huấn luyện và kiểm tra theo kích thước bạn đã xác định

Bạn có thể thấy rằng

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>>

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Bây giờ

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

Trong một số trường hợp, bạn nên phân tách phân tầng, chẳng hạn như khi bạn đang phân loại một tập dữ liệu không cân bằng, một tập dữ liệu có sự khác biệt đáng kể về số lượng mẫu thuộc về các lớp riêng biệt

Cuối cùng, bạn có thể tắt xáo trộn dữ liệu và phân tách ngẫu nhiên với

$ conda install -c anaconda scikit-learn=0.23

>>>

$ conda install -c anaconda scikit-learn=0.23

Bây giờ bạn có một phần tách trong đó hai phần ba mẫu đầu tiên trong mảng

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Học máy được giám sát với $ conda install -c anaconda scikit-learn=0.23 7

Bây giờ là lúc để xem hoạt động của

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Ví dụ tối giản về hồi quy tuyến tính

Trong ví dụ này, bạn sẽ áp dụng những gì bạn đã học cho đến nay để giải một bài toán hồi quy nhỏ. Bạn sẽ tìm hiểu cách tạo tập dữ liệu, chia chúng thành các tập con đào tạo và kiểm tra, đồng thời sử dụng chúng cho hồi quy tuyến tính

Như thường lệ, bạn sẽ bắt đầu bằng cách nhập các gói, hàm hoặc lớp cần thiết. Bạn sẽ cần NumPy,

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

64 và

$ conda install -c anaconda scikit-learn=0.23

7

>>>

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

6

Bây giờ bạn đã nhập mọi thứ mình cần, bạn có thể tạo hai mảng nhỏ,

$ conda install -c anaconda scikit-learn=0.23

75 và

$ conda install -c anaconda scikit-learn=0.23

76, để thể hiện các quan sát và sau đó chia chúng thành các tập huấn luyện và kiểm tra giống như bạn đã làm trước đây

>>>

$ conda install -c anaconda scikit-learn=0.23

0

Tập dữ liệu của bạn có 20 quan sát hoặc cặp

$ conda install -c anaconda scikit-learn=0.23

75-

$ conda install -c anaconda scikit-learn=0.23

76. Bạn chỉ định đối số

$ conda install -c anaconda scikit-learn=0.23

00, vì vậy tập dữ liệu được chia thành tập huấn luyện với mười hai quan sát và tập kiểm tra với tám quan sát

Bây giờ bạn có thể sử dụng tập huấn luyện để điều chỉnh mô hình

>>>

$ conda install -c anaconda scikit-learn=0.23

1

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

64 tạo đối tượng đại diện cho mô hình, trong khi

$ conda install -c anaconda scikit-learn=0.23

02 đào tạo hoặc khớp với mô hình và trả về mô hình. Với hồi quy tuyến tính, việc khớp mô hình có nghĩa là xác định các giá trị chặn tốt nhất (

$ conda install -c anaconda scikit-learn=0.23

03) và độ dốc (

$ conda install -c anaconda scikit-learn=0.23

04) của đường hồi quy

Mặc dù bạn có thể sử dụng

$ conda install -c anaconda scikit-learn=0.23

85 và

$ conda install -c anaconda scikit-learn=0.23

89 để kiểm tra mức độ phù hợp, nhưng đây không phải là cách tốt nhất. Ước tính không thiên vị về hiệu suất dự đoán của mô hình của bạn dựa trên dữ liệu thử nghiệm

>>>

$ conda install -c anaconda scikit-learn=0.23

2

$ conda install -c anaconda scikit-learn=0.23

07 trả về hệ số xác định, hoặc R², cho dữ liệu được truyền. Tối đa của nó là

$ conda install -c anaconda scikit-learn=0.23

08. Giá trị R² càng cao thì càng phù hợp. Trong trường hợp này, dữ liệu huấn luyện mang lại hệ số cao hơn một chút. Tuy nhiên, R² được tính bằng dữ liệu thử nghiệm là thước đo khách quan về hiệu suất dự đoán của mô hình của bạn

Đây là giao diện của nó trên biểu đồ

Các chấm màu xanh lá cây đại diện cho các cặp

$ conda install -c anaconda scikit-learn=0.23

75-

$ conda install -c anaconda scikit-learn=0.23

76 được sử dụng để đào tạo. Đường màu đen, được gọi là đường hồi quy ước tính, được xác định bởi kết quả khớp mô hình. đánh chặn và độ dốc. Vì vậy, nó chỉ phản ánh vị trí của các chấm màu xanh lá cây

Các chấm trắng đại diện cho bộ kiểm tra. Bạn sử dụng chúng để ước tính hiệu suất của mô hình (đường hồi quy) với dữ liệu không được sử dụng để đào tạo

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Các chức năng xác thực khác

Gói

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

• xác thực chéo
• đường cong học tập
• điều chỉnh siêu tham số

Xác thực chéo là một tập hợp các kỹ thuật kết hợp các phép đo hiệu suất dự đoán để có được các ước tính mô hình chính xác hơn

Một trong những phương pháp xác thực chéo được sử dụng rộng rãi là xác thực chéo k-fold. Trong đó, bạn chia tập dữ liệu của mình thành k (thường là năm hoặc mười) tập con hoặc tập hợp có kích thước bằng nhau, sau đó thực hiện quy trình đào tạo và kiểm tra k lần. Mỗi lần, bạn sử dụng một nếp gấp khác làm tập kiểm tra và tất cả các nếp gấp còn lại làm tập huấn luyện. Điều này cung cấp k phép đo hiệu suất dự đoán và sau đó bạn có thể phân tích giá trị trung bình và độ lệch chuẩn của chúng

Bạn có thể triển khai xác thực chéo với

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Một đường cong học tập, đôi khi được gọi là một đường cong đào tạo, cho thấy điểm dự đoán của các tập hợp đào tạo và xác thực phụ thuộc như thế nào vào số lượng mẫu đào tạo. Bạn có thể sử dụng

$ conda install -c anaconda scikit-learn=0.23

Điều chỉnh siêu tham số, còn được gọi là tối ưu hóa siêu tham số, là quá trình xác định tập hợp siêu tham số tốt nhất để xác định mô hình máy học của bạn.

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

$ conda install -c anaconda scikit-learn=0.23

Phần kết luận

Bây giờ bạn đã biết tại sao và cách sử dụng

$ conda install -c anaconda scikit-learn=0.23

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Trong hướng dẫn này, bạn đã học cách

• Sử dụng

  $ conda install -c anaconda scikit-learn=0.23
  

  7 để nhận tập huấn luyện và kiểm tra
• Kiểm soát kích thước của các tập hợp con với các tham số

  $ conda install -c anaconda scikit-learn=0.23
  

  78 và

  $ conda install -c anaconda scikit-learn=0.23
  

  74
• Xác định tính ngẫu nhiên của các phần tách của bạn với tham số

  $ conda install -c anaconda scikit-learn=0.23
  

  79
• Có được các phân tách phân tầng với tham số

  >>> import numpy as np
  >>> from sklearn.model_selection import train_test_split
  

  85
• Sử dụng

  $ conda install -c anaconda scikit-learn=0.23
  

  7 như một phần của quy trình học máy được giám sát

Bạn cũng đã thấy rằng mô-đun

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split

Nếu bạn có câu hỏi hoặc ý kiến, xin vui lòng đặt chúng trong phần bình luận bên dưới