programming python

Disretization trong Python là gì?

Dữ liệu trong thế giới thực có xu hướng ồn ào. Dữ liệu nhiễu là dữ liệu có thêm một lượng lớn thông tin vô nghĩa được gọi là nhiễu. Các quy trình làm sạch dữ liệu (hoặc làm sạch dữ liệu) cố gắng loại bỏ nhiễu trong khi xác định các giá trị ngoại lai trong dữ liệu

Có ba kỹ thuật làm trơn dữ liệu như sau –

đóng thùng. Các phương pháp tạo thùng làm mịn một giá trị dữ liệu được sắp xếp bằng cách tham khảo "vùng lân cận" của nó, tức là các giá trị xung quanh nó
hồi quy. Nó phù hợp với các giá trị dữ liệu cho một chức năng. Hồi quy tuyến tính liên quan đến việc tìm đường "tốt nhất" để khớp với hai thuộc tính (hoặc biến) sao cho một thuộc tính có thể được sử dụng để dự đoán thuộc tính kia
phân tích ngoại lệ. Các ngoại lệ có thể được phát hiện bằng cách phân cụm, ví dụ, trong đó các giá trị tương tự được tổ chức thành các nhóm hoặc "cụm". Theo trực giác, các giá trị nằm ngoài tập hợp các cụm có thể được coi là ngoại lệ

Phương pháp tạo nhóm để làm mịn dữ liệu –
Ở đây, chúng ta quan tâm đến phương pháp Tạo nhóm để làm mịn dữ liệu. Trong phương pháp này, trước tiên, dữ liệu được sắp xếp và sau đó các giá trị được sắp xếp được phân phối vào một số thùng hoặc thùng. Khi các phương pháp tạo thùng tham khảo vùng lân cận của các giá trị, chúng thực hiện làm mịn cục bộ.

Về cơ bản có hai loại phương pháp tạo thùng -

Tạo thùng theo chiều rộng (hoặc khoảng cách) bằng nhau. Cách tiếp cận tạo thùng đơn giản nhất là phân vùng phạm vi của biến thành k khoảng có độ rộng bằng nhau. Độ rộng của khoảng chỉ đơn giản là phạm vi [A, B] của biến chia cho k,w = (B-A) / k
Như vậy, phạm vi khoảng thứ i sẽ là Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 80 trong đó i = 1, 2, 3…. k
Dữ liệu bị lệch không thể xử lý tốt bằng phương pháp này.
Tạo thùng theo độ sâu (hoặc tần số) bằng nhau. Trong cách tạo tần số bằng nhau, chúng tôi chia phạm vi [A, B] của biến thành các khoảng chứa (xấp xỉ) số điểm bằng nhau;

Làm thế nào để thực hiện làm mịn trên dữ liệu?

Có ba cách tiếp cận để thực hiện làm mịn -

Làm mịn bằng phương tiện bin. Khi làm mịn bằng phương tiện bin, mỗi giá trị trong ngăn được thay thế bằng giá trị trung bình của ngăn
Làm mịn bằng trung vị bin. Trong phương pháp này, mỗi giá trị bin được thay thế bằng giá trị trung bình bin của nó
Làm mịn theo ranh giới bin. Khi làm mịn theo ranh giới ngăn, các giá trị tối thiểu và tối đa trong một ngăn nhất định được xác định là ranh giới ngăn. Mỗi giá trị bin sau đó được thay thế bằng giá trị biên gần nhất

Dữ liệu được sắp xếp cho giá (bằng đô la). 2, 6, 7, 9, 13, 20, 21, 24, 30

Binning cũng có thể được sử dụng như một kỹ thuật rời rạc hóa. Ở đây, rời rạc hóa đề cập đến quá trình chuyển đổi hoặc phân vùng các thuộc tính, tính năng hoặc biến liên tục thành các thuộc tính/tính năng/biến/khoảng rời rạc hoặc danh nghĩa.
Ví dụ: các giá trị thuộc tính có thể được phân tách bằng cách áp dụng cách tạo nhóm có độ rộng bằng nhau hoặc tần số bằng nhau, sau đó thay thế từng giá trị ngăn bằng giá trị trung bình hoặc trung vị của ngăn, như trong làm mịn bằng phương pháp ngăn hoặc làm mịn bằng . Sau đó, các giá trị liên tục có thể được chuyển đổi thành giá trị danh nghĩa hoặc rời rạc giống như giá trị của bin tương ứng của chúng.

Dưới đây là triển khai Python

bin_mean

________ 183 ________ 184 ________ 181 ________ 186

bin_median

________ 183 ________ 184 ________ 181 ________ 186

bin_ranh giới

________ 183 ________ 184 ________ 181 ________ 186

Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 24Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 22Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 807Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8108Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8109Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8110Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8111Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 839Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8113Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 804 Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8108Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8109Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8110Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8111Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 869Partition using equal frequency approach: Bin 1 : 2, 6, 7 Bin 2 : 9, 13, 20 Bin 3 : 21, 24, 30 Smoothing by bin mean : Bin 1 : 5, 5, 5 Bin 2 : 14, 14, 14 Bin 3 : 25, 25, 25 Smoothing by bin median : Bin 1 : 6, 6, 6 Bin 2 : 13, 13, 13 Bin 3 : 24, 24, 24 Smoothing by bin boundary : Bin 1 : 2, 7, 7 Bin 2 : 9, 9, 20 Bin 3 : 21, 21, 30 8120

Disretization có nghĩa là gì?

Trong toán học ứng dụng, rời rạc hóa là quá trình chuyển các hàm, mô hình, biến và phương trình liên tục thành các phần tử rời rạc . Quá trình này thường được thực hiện như một bước đầu tiên hướng tới việc làm cho chúng phù hợp để đánh giá và thực hiện số trên máy tính kỹ thuật số.

Disretization với ví dụ là gì?

Rời rạc hóa là quá trình mà qua đó chúng ta có thể chuyển đổi các biến, mô hình hoặc hàm liên tục thành một dạng rời rạc . Chúng tôi làm điều này bằng cách tạo một tập hợp các khoảng liền kề (hoặc các ngăn) đi qua phạm vi của biến/mô hình/hàm mong muốn của chúng tôi. Dữ liệu liên tục được đo, trong khi dữ liệu rời rạc được tính.

Disretization được sử dụng để làm gì?

Rời rạc hóa thường được sử dụng như một bước tiền xử lý cho các thuật toán máy học chỉ xử lý dữ liệu rời rạc .

Sự rời rạc trong học máy là gì?

Trong thống kê và học máy, rời rạc hóa đề cập đến quá trình chuyển đổi hoặc phân vùng các thuộc tính, tính năng hoặc biến liên tục thành các thuộc tính/tính năng/biến/khoảng rời rạc hoặc danh nghĩa. This can be useful when creating probability mass functions – formally, in density estimation.

Làm thế nào để thực hiện làm mịn trên dữ liệu?

bin_mean

bin_median

bin_ranh giới

Disretization có nghĩa là gì?

Disretization với ví dụ là gì?

Disretization được sử dụng để làm gì?

Sự rời rạc trong học máy là gì?

Bài Viết Liên Quan

Toplist

Bài mới nhất

Chủ đề