Show
Bạn đang xem: chỉ số kappa là gì
Giới thiệu, hướng dẫn về chỉ số Kappa, điều kiện và công thức tính toán. – 123doc – thư viện trực tuyến, download tài liệu, tải tài liệu, sách, sách số, tài liệu, audio book, sách nói hàng đầu Việt Nam Bạn đang xem: chỉ số kappa là gì Ngày đăng: 08/06/2015, 18:55 Giới thiệu, hướng dẫn về Kappa số, điều kiện và tính toán công thức. 1 Khoa Khoa học У tế của Đại học York Đo lường Sức khỏe và Bệnh tật Trao đổi về tỷ lệ phần trăm Kappa của Cohen: một cách tiếp cận sai lầm Bảng 1 cho thấy câu trả lời cho thắc mắc ‘Bạn đã lúc nào hút thuốc lá lá chưa?’ Được lấy từ một mẫu trẻ em hai lần, sử dụng thuốc tự quản bảng thắc mắc và một cuộc phỏng vấn. Chúng tôi muốn biết mức độ tán thành của các câu trả lời của trẻ em. Một phương pháp khả thi để tổng hợp sự thống nhất giữa các cặp xem xét là tính toán phần trăm tán thành, phần trăm các đối tượng được xem xét là giống nhau trong hai lần. So với Bảng 1, tỷ lệ tán thành là 100 × (61 + 25) / 94 = 91,5%. Tuy nhiên, phương pháp này có thể gây hiểu nhầm vì nó không tính đến trao đổi mà tất cả chúng ta mong đợi ngay cả khi hai xem xét không liên quan. Hãy xem xét Bảng 2, cho thấy một số dữ liệu nhân tạo liên quan đến xem xét của một người xem xét với những xem xét của hai người khác. So với Người xem xét 𝓐 và Ɓ, tỷ lệ tán thành là 80%, so với Người xem xét 𝓐 và ₵. Điều này cho thấy Người xem xét Ɓ và ₵ là tương tự. Tuy nhiên, Người xem xét ₵ luôn chọn ‘Không’. Bởi vì Người xem xét 𝓐 chọn ‘Không’, họ thường có vẻ tán thành, nhưng trên thực tiễn họ đang sử dụng các sách lược khác nhau và không liên quan để tạo dựng ý kiến của họ. Bảng 3 cho thấy thêm dữ liệu về trao đổi nhân tạo. Các nhà xem xét 𝓐 và 𝓓 mang ra các xếp hạng độc lập với nhau, các tần số trong Bảng 3 bằng các tần số mong đợi theo giả thuyết vô hiệu về tính độc lập (chi 2 = 0,0). Tỷ lệ trao đổi là 68%, nghe có vẻ không tệ hơn nhiều so với 80% so với Bảng 3. Tuy nhiên, tự dưng không có trao đổi nào nhiều hơn chúng tôi mong đợi. Tỷ lệ đối tượng mà có trao đổi cho tất cả chúng ta biết không có gì cả. Để xem xét mức độ trao đổi tự dưng khác với dự kiến, tất cả chúng ta cần một phương pháp phân tích khác: Cohen’s kappa. Bảng 1. Các câu trả lời cho thắc mắc: ‘Bạn đã lúc nào hút thuốc lá lá chưa?’ Của học viên trường Derbyshire Phỏng vấn Có Không Tổng Tự quản Có 61 2 63 bảng thắc mắc Không 6 25 31 Tổng 67 27 94 Bảng 2. Lập bảng nhân tạo các xem xét bằng cách ba người xem xét Người xem xét Người xem xét Ɓ Người xem xét người xem xét CA Có Không Tổng 𝓐 Có Không Tổng Có 10 10 20 Có 0 20 20 Không 10 70 80 Không 0 80 80 Tổng 20 80 100 Tổng 0 100 100 2 Bảng 3. Lập bảng nhân tạo các xem xét của hai xem xét viên Người xem xét Người xem xét DA Có Không Tổng Có 4 16 20 Không 16 64 80 Tổng 20 80 100 Trao đổi về tỷ lệ phần trăm được sử dụng rộng rãi, nhưng có thể gây hiểu nhầm cao. Ví dụ, Barrett et al. (1990) đã xem xét sự thích hợp của sinh mổ trong một nhóm các trường hợp, toàn bộ đều được sinh mổ do suy thai. Họ trích dẫn trao đổi phần trăm giữa từng cặp xem xét viên trong hội đồng của họ. Chúng thay đổi từ 60% đến 82,5%. Nếu họ mang ra quyết định của mình một cách ngẫu nhiên, với xác suất ngang nhau cho “thích hợp” và “không phù hợp”, thì trao đổi dự kiến sẽ là 50%. Nếu họ có xu thế nhận xét một tỷ lệ to hơn là “thích hợp” thì tỷ lệ này sẽ cao hơn, ví dụ: nếu họ nhận xét 80% là ‘phù hợp’, trao đổi được mong đợi một cách tự dưng sẽ là 68% (0,8 × 0,8 + 0,2 × 0,2 = 0,68). Theo ghi nhận của Esmail và Bland (1990), nếu không có tỷ lệ phần trăm được phân loại là ‘thích hợp’, chúng tôi không thể biết liệu xếp hạng của họ có bất kỳ giá trị nào hay không. Cohen’s kappa Cohen’s kappa (Cohen 1960) được giới thiệu như một biện pháp trao đổi nhằm tránh các vấn đề được mô tả ở trên bằng cách điều chỉnh trao đổi tỷ lệ xem xét được để tính đến số lượng trao đổi có thể được mong đợi một cách tự dưng. Trước hết, chúng tôi tính toán tỷ lệ các nhà cung cấp có sự tán thành, ᴘ, và tỷ lệ các nhà cung cấp được mong đợi là tán thành một cách tự dưng, ᴘ e. Các số dự kiến tán thành được tìm thấy như trong các bài xác minh chi bình phương, theo hàng tổng số lần tổng của cột chia cho tổng tổng. Ví dụ, so với Bảng 1, tất cả chúng ta thu được ᴘ = (61 + 25) / 94 = 0.915 và 572.0 94 9427) / (31 67) / 94 (63 = × + × = ep Cohen’s kappa () sau đó được xác nhận bởi eep pp – – = 1 κ So với Bảng 1, tất cả chúng ta thu được: 0,801 0,572 – 1 0,572 – 0,915 == κ Kappa của Cohen do đó, trao đổi được điều chỉnh theo dự kiến một cách tự dưng. Này là số vốn mà trao đổi xem xét được vượt quá dự kiến một cách ngẫu nhiên , chia cho mức tối đa mà sự khác biệt này có thể là. Kappa rất phân biệt giữa các bảng của Bảng 2 và 3. So với Người xem xét 𝓐 và Ɓ = 0,37, trong lúc so với Người xem xét 𝓐 và ₵ = 0,00, như so với Người xem xét 𝓐 và 𝓓. 3 Bảng 4. Các câu trả lời cho thắc mắc về ho vào ban ngày hoặc vào ban tối trong hai tuần qua Phỏng vấn Có Không Không biết Tổng số Tự- Có 12 4 2 18 được thực hiện Không 12 56 0 68 bảng thắc mắc Không biết 3 4 1 7 Tổng 27 64 3 94 Bảng 5. Dữ liệu của Bảng 4, phối hợp hai loại “Không” và “Không biết” Phỏng vấn Có Không / ĐK Tổng Tự quản Có 12 6 18 bảng thắc mắc Không / ĐK 15 61 76 Tổng 27 67 94 Chúng tôi sẽ có trao đổi hoàn hảo khi toàn bộ tán thành nên ᴘ = 1. So với trao đổi hoàn hảo = 1. Chúng tôi có thể không có trao đổi nào trong sevô nghĩa của mối quan hệ không, khi ᴘ = ᴘ e và do đó = 0. Tất cả chúng ta cũng có thể không tán thành khi có mối quan hệ nghịch đảo. Trong Bảng 1, điều này sẽ xảy ra nếu những đứa trẻ không nói lần trước hết nói có, lần thứ hai nói có và trái lại. Chúng tôi có ᴘ & lt; ᴘ & acirc; и và như vậy & lt; 0. Giá trị thấp nhất có thể của là – ᴘ e / (1 – ᴘ e), vì vậy tùy thuộc vào ᴘ e, có thể nhận bất kỳ giá trị âm nào. Do đó không giống như một hệ số tương quan, nằm giữa – 1 và +1. Chỉ các giá trị từ 0 đến 1 mới có bất kỳ ý nghĩa hữu ích nào. Như Fleiss đã nêu ra, kappa là một dạng của hệ số tương quan giữa các lớp. Một số mục lục Hiện tại hãy xem xét một ví dụ thứ hai. Bảng 4 và 5 hiển thị câu trả lời cho một thắc mắc về các triệu chứng hô hấp. Bảng 4 cho thấy ba mục lục, “có”, “không” và “không biết”, và Bảng 5 cho thấy hai mục lục, “không” và “không biết” được phối hợp thành một nhóm “phủ định”. So với Bảng 4, ᴘ = 0,73, ᴘ e = 0,55, = 0,41. So với Bảng 5, ᴘ = 0,78, ᴘ e = 0,63, = 0,39. Tỷ lệ tán thành, ᴘ, tăng trưởng khi tất cả chúng ta phối hợp mục lục “không” và “không biết”, nhưng tỷ lệ tán thành ᴘ e dự kiến cũng vậy. Do đó không nhất thiết phải tăng vì tỷ trọng tán thành tăng. Cho dù nó có làm như vậy hay không phụ thuộc vào mối quan hệ giữa các mục lục. Khi xác suất phán đoán sai sẽ xảy ra trong một mục lục nhất định không phụ thuộc vào mục lục thực, kappa có xu thế giảm xuống khi các mục lục được kết phù hợp với nhau. Khi các mục lục được sắp xếp theo thứ tự, do đó các phán đoán không đúng đắn có xu thế nằm trong các mục lục ở hai phía của sự thật và các mục lục liền kề được phối hợp, kappa có xu thế tăng trưởng. Ví dụ, Bảng 6 cho thấy sự thống nhất giữa hai xếp hạng sức khỏe thể chất, thu được từ một mẫu người bệnh đa phần là người bệnh stoma lớn tuổi. Phân tích được thực hiện để xem liệu các giải trình tự có thể được sử dụng trong các cuộc thăm dò hay không. So với những dữ liệu này, = 0,13. Nếu tất cả chúng ta phối hợp các mục lục “kém” và “khá”, tất cả chúng ta thu được = 0,19. Sau đó, nếu tất cả chúng ta phối hợp các mục lục “tốt” và “xuất sắc”, tất cả chúng ta thu được = 0,31. Do đó, kappa tăng trưởng khi tất cả chúng ta phối hợp các mục lục liền kề. Dữ liệu với các mục lục có thứ tự được phân tích tốt hơn bằng cách sử dụng kappa có trọng số, được mô tả bên dưới. 4 Bảng 6. Sức khỏe thể chất của 366 đối tượng được nhìn nhận bởi một người thăm khám sức khỏe và bác sỹ đa khoa của đối tượng, tần suất dự kiến trong ngoặc đơn (dữ liệu từ Lea MacDonald) Doctor khám sức khỏe tổng quát Kém Khá Tốt Xuất sắc Tổng Kém 2 (1.1) 12 (5.5) 8 (11,4) 0 (4,1) 22 Khá 9 (4,1) 35 (23,4) 43 (48,8) 7 (17,7) 94 Tốt 4 (8,0) 36 (45,5) 103 (95,0) 40 (34,5) 183 Xuất sắc 1 (2,9) 8 (16,7) 36 (36,8) 22 (12,6) 67 Tổng 16 91 190 69 366 ᴘ = 0,443, pe = 0,361, = 0,13 Bảng 7. Thống kê Kappa cho một loạt các thắc mắc tự quản lý và phỏng vấn Buổi sáng ho, hai tuần 0,62 Ho ngày hoặc đêm, hai tuần 0,41 Ho vào buổi sáng, kể từ Giáng sinh 0,24 Ho ngày hoặc đêm, kể từ Giáng sinh 0,10 Đã từng hút thuốc lá 0,80 Hút thuốc lá hiện tại 0,82 Bảng 8. Giải thích về kappa, sau Landis và Koch (1977) Giá trị của kappa Sức mạnh của sự tán thành & lt; 0,20 Kém 0,21-0,40 Khá 0,41-0,60 Trung bình 0,61-0,80 Tốt 0,81-1,00 Rất tốt Giải thích về kappa Việc sử dụng kappa được minh họa bằng Bảng 7, trong đó hiển thị kappa cho sáu thắc mắc được hỏi trong bảng thắc mắc tự quản lý và một cuộc phỏng vấn. Các giá trị kappa cho thấy cấu trúc rõ ràng cho các thắc mắc. Các thắc mắc về hút thuốc lá rõ ràng có sự nhất trí tốt hơn các thắc mắc về hô hấp. Trong số những trường hợp thứ hai, thời kỳ gần đây được trả lời nhất quán hơn so với thời gian kể từ Giáng sinh, và ho vào buổi sáng thường xuyên hơn ho vào ban ngày hoặc ban tối. Ở đây các số liệu thống kê của kappa khá nhiều thông tin. Kappa phải lớn bao nhiêu để trổ tài sự tán thành tốt? Đây là một thắc mắc khó, vì điều gì tạo ra một trao đổi tốt sẽ phụ thuộc vào việc sử dụng mà nhận xét sẽ được mang vào. Kappa không dễ giải thích về độ đúng đắn của một xem xét duy nhất. Vấn đề tương tự như phát sinh với hệ số tương quan cho sai số đo lường trong dữ liệu liên tục. Bảng 8 mang ra các hướng dẫn giải thích nó, được điều chỉnh một tí từ Landis và Koch (1977). Đây chỉ là một hướng dẫn, và không giúp ích nhiều khi tất cả chúng ta quan tâm đến ý nghĩa lâm sàng của một nhận xét. Sai số chuẩn và khoảng tin cậy cho Sai số chuẩn của được cho với и là số môn học. Khoảng tin cậy 95% cho là - 1,96 × SE () đến + 1,96 × SE () vì là xấp xỉ Phân phối Thông thường, với điều kiện np và и (1 – ᴘ) đủ lớn, giả sử to hơn năm. So với ví dụ trước hết: 2) 1 () 1 () (SE e pn pp – – = κ 5 067.0) 572.01 (94) 915.01 (915.0) 1 () 1 (22 = – × – × = – – = e pn pp κ Với khoảng tin cậy 95%, tất cả chúng ta có: 0,801 – 1,96 × 0,067 đến 0,801 + 1,96 × 0,067 = 0,67 đến 0,93. Tất cả chúng ta cũng có thể thực hiện kiểm định ý nghĩa của giả thuyết không có trao đổi. Giả thuyết rỗng là trong dân số = 0 hoặc ᴘ = pe. Điều này tác động đến sai số tiêu chuẩn của kappa vì sai số tiêu chuẩn phụ thuộc vào ᴘ, giống như cách nó xảy ra khi so sánh hai tỷ lệ (Bland, 2000, ᴘ 145-7). Dưới giá trị rỗng giả thuyết ᴘ có thể được thay thếd theo pe trong công thức sai số chuẩn:) 1 () 1 () 1 () 1 () 1 () (SE 22 eee ee e pn ᴘ pn pp pn pp – = – – = – – = κ Nếu giả thuyết rỗng đều đúng / SE () sẽ là từ Phân phối chuẩn chuẩn. Ví dụ: / SE () = 6,71, ᴘ & lt; 0,0001. Xác minh này có một phía sau, bằng 0 và toàn bộ các giá trị âm của có nghĩa là không trao đổi. Bởi vì khoảng tin cậy và kiểm định ý nghĩa sử dụng các sai số tiêu chuẩn khác nhau, có thể có sự khác biệt đáng kể khi khoảng tin cậy bằng 0. Trong trường hợp này, có bằng cớ về một số trao đổi, nhưng kappa được ước tính kém. Các vấn đề với kappa Ở này là những vấn đề trong việc giải thích kappa. Kappa phụ thuộc vào tỷ lệ đối tượng có giá trị thực trong mỗi mục lục. Để nêu ra điều này, giả sử tất cả chúng ta có hai mục lục và tỷ lệ trong mục lục trước hết là ᴘ 1. Xác suất mà một người xem xét là đúng là {q}, và chúng tôi sẽ giả thiết rằng xác suất nhận xét đúng không liên quan tới điểm đúng của đối tượng tus. Đây là một giả thiết rất mạnh, nhưng nó làm cho việc minh chứng đơn giản hơn. Chúng tôi có xem xét của hai xem xét viên trên một nhóm đối tượng. Người xem xét sẽ tán thành nếu cả hai đều đúng, điều này xảy ra với xác suất {q} × {q} và nếu cả hai đều sai, có xác suất (1 – {q}) × (1 – {q}). Khi đó tỷ lệ các cặp xem xét tán thành là ᴘ = {q} 2 + (1 – {q}) 2. Tỷ lệ các đối tượng được một người xem xét nhận xét là thuộc loại một sẽ là ᴘ 1 {q} + (1 – ᴘ 1) (1 – {q}), tức là tỷ lệ thực sự trong mục lục một lần xác suất người xem xét đúng cộng với tỷ lệ thực sự trong loại hai lần xác suất người xem xét sẽ sai. Tương tự, tỷ trọng trong loại hai sẽ là ᴘ 1 (1 – {q}) + (1 – ᴘ 1) {q}. Do đó, trao đổi thời cơ dự kiến sẽ là pe = [p 1 q + (1 – p 1) (1 – q)] 2 + [p 1 (1 – q) + (1 – p 1) q] 2 = {q} 2 + (1 – {q}) 2 – 2 (1 – 2q) 2 ᴘ 1 (1 – ᴘ 1) Điều này cho tất cả chúng ta kappa: Xác minh phương trình này cho thấy rằng trừ khi {q} = 1 hoặc 0,5, toàn bộ các xem xét luôn đúng khi hoặc các nhận xét ngẫu nhiên, kappa phụ thuộc vào ᴘ 1, có cực đại khi ᴘ 1 = 0,5. Vì vậy, kappa sẽ rõ ràng cho một quần thể nhất định. Điều này giống như hệ số tương quan nội lớp, có liên quan đến kappa và có cùng ý nghĩa so với việc lấy mẫu. Nếu tất cả chúng ta chọn một nhóm đối tượng có số hiếm to hơn) 1 () 21 () 1 () 1 ()] 1 () 21 (2) 1 ([1)] 1 () 21 (2) 1 ( [) 1 (11 2 11 11 222 11 22222 pp q qq pp ppqqq ppqqqqq – + – – – = −−−− + – −−−− + −− + = κ 6 Rất tốt Tốt Trung bình Khá Kém 0 .2. 4 .6 .8 1 Dự đoán kappa 0 .1 .2 .3 .4 .5 .6 .7 .8 .9 1 Xác suất đúng ‘Có’ 99% cơ hội đúng 95% cơ hội đúng 90% cơ hội đúng 80% cơ hội đúng 70% cơ hội đúng 60% cơ hội đúng Hình 1. Kappa được dự đoán cho hai danh mục, ‘có’ và ‘không’, theo xác suất ‘có’ và người quan sát xác suất sẽ đúng. Danh mục lời nói của Landis và Koch được hiển thị. Bảng 9. Trọng số cho sự bất đồng giữa xếp hạng sức khỏe thể chất theo đánh giá của người khám sức khỏe và bác sĩ đa khoa Bác sĩ khám sức khỏe tổng quát Kém Khá Tốt Xuất sắc Kém 0 1 2 3 Khá 1 0 1 2 Tốt 2 1 0 1 Xuất sắc 3 2 1 0 so với dân số chúng tôi đang nghiên cứu, kappa sẽ lớn hơn trong mẫu thỏa thuận quan sát viên so với dân số khi toàn bộ. Hình 1 cho thấy kappa hai danh mục được dự đoán so với tỷ lệ “có” đối với các xác suất khác nhau mà đánh giá của người quan sát là đúng. Điều nổi bật nhất về Hình 1 là kappa là cực đại khi xác suất của một câu trả lời đúng là “có” là 0,5. Khi xác suất này gần bằng không hoặc bằng một, kappa kỳ vọng sẽ nhỏ hơn, khá đáng kể, vì vậy ở các cực khi thỏa thuận là rất tốt. Trừ khi thỏa thuận là hoàn hảo, nếu một trong hai loại là nhỏ so với loại còn lại, kappa sẽ nhỏ, cho dù thỏa thuận đó có tốt đến đâu. Điều này gây ra sự đau buồn cho rất nhiều người dùng. Chúng ta có thể thấy rằng các đường trong Hình 1 tương ứng khá chặt chẽ với các phân loại của Landis và Koch, được thể hiện trong Bảng 8. 7 Bảng 10. Các trọng số thay thế cho sự bất đồng giữa xếp hạng sức khỏe thể chất do người khám sức khỏe đánh giá và bác sĩ đa khoa Bác sĩ khám sức khỏe tổng quát Kém Khá Tốt Xuất sắc Kém 0 1 4 9 Khá 1 0 1 4 Tốt 4 1 0 1 Xuất sắc 9 4 1 0 Kappa có trọng số Đối với dữ liệu của Bảng 6, kappa thấp, 0,13. Tuy nhiên, điều này có thể gây hiểu lầm. Tại đây các danh mục được sắp xếp theo thứ tự. Sự bất đồng giữa “tốt” và “xuất sắc” không lớn bằng giữa “kém” và “xuất sắc”. Chúng ta có thể nghĩ rằng sự khác biệt của một danh mục là hợp lý trong khi những danh mục khác thì không. Chúng ta có thể tính đến điều này nếu chúng ta phân bổ trọng số cho tầm quan trọng của các điểm bất đồng, như được trình bày trong Bảng 9. Chúng ta cho rằng mức độ bất đồng giữa “kém” và “xuất sắc” gấp ba lần mức độ bất đồng giữa “kém” và “Khá”. Vì trọng số dành cho mức độ bất đồng, trọng số bằng 0 có nghĩa là các quan sát trong ô này đồng ý. Biểu thị trọng số của ô i, j theo w ij, tỷ lệ trong ô i, j theo p ij và exptỷ lệ tăng theo i, j theo p e, ij. Sự bất đồng về trọng số sẽ được tìm thấy bằng cách nhân tỷ lệ trong mỗi ô với trọng lượng của nó và cộng, w ij p ij. Chúng ta có thể biến điều này thành một tỷ lệ có trọng số không đồng ý bằng cách chia cho trọng số tối đa, w max. Đây là giá trị lớn nhất mà w ij p ij có thể nhận được khi tất cả các quan sát nằm trong ô có trọng số lớn nhất. Tỷ lệ có trọng số đồng ý sẽ là một trừ đi điều này. Do đó, tỷ trọng đồng ý có trọng số là p = 1 – w ij p ij / w max. Tương tự, tỷ trọng kỳ vọng có trọng số đồng ý là p e = 1 – w ij p e, ij / w max. Định nghĩa kappa có trọng số như đối với kappa tiêu chuẩn, chúng ta nhận được () () – = −− −−− = – – = ijeij ijij ijeij ijeijijij eew pw pw wpw wpwwpw p pp, max, max, max 1/11 / 1/1 1 κ Nếu tất cả w ij = 1 ngoại trừ trên đường chéo chính, trong đó w ii = 0, chúng ta nhận được kappa không trọng số thông thường. Đối với Bảng 6, sử dụng các trọng số của Bảng 9, chúng ta nhận được w = 0,23, lớn hơn giá trị không trọng số là 0,13. Sai số chuẩn của kappa có trọng số được cho bởi công thức gần đúng: () 2, 2 2 w) () SE ( – = ijeij ijijijij pwm pwpw κ Đối với kiểm định ý nghĩa, giá trị này giảm xuống () 2, 2,, 2 w) () SE ( – = ijeij ijeijijeij pwm pwpw κ bằng cách thay thế p ij quan sát được bằng các giá trị kỳ vọng của chúng trong giả thuyết rỗng. Chúng tôi sử dụng các giá trị này như chúng tôi đã làm đối với kappa không trọng số. 8 Bảng 11. Trọng số tuyến tính để thỏa thuận giữa Xếp hạng sức khỏe thể chất theo đánh giá của người khám bệnh và bác sĩ đa khoa Người khám bệnh đa khoa Kém Khá Giỏi Xuất sắc Kém 1,00 0,67 0,33 0,00 Khá 0,67 1,00 0,67 0,33 Tốt 0,33 0,67 1,00 0,67 Xuất sắc 0,00 0,33 0,67 1,00 Bảng 12. Quyền số bậc hai cho sự thống nhất giữa các xếp hạng của sức khỏe thể chất theo đánh giá của người thăm khám sức khỏe và bác sĩ đa khoa Bác sĩ khám sức khỏe tổng quát Kém Khá Giỏi Xuất sắc Kém 1,00 0,89 0,56 0,00 Khá 0,89 1,00 0,89 0,56 Tốt 0,56 0,89 1,00 0,89 Xuất sắc 0,00 0,56 0,89 1,00 Việc lựa chọn trọng lượng là quan trọng. Tốt một tập hợp mới, các bình phương của tập cũ, như trong Bảng 10, chúng ta nhận được w = 0,35. Trong ví dụ, thỏa thuận sẽ tốt hơn nếu chúng ta đính kèm một hình phạt tương đối lớn hơn cho những bất đồng giữa “kém” và “xuất sắc”. Rõ ràng, chúng ta nên xác định trước các trọng số này thay vì lấy chúng từ dữ liệu. Cohen (1968) khuyến nghị rằng một ủy ban gồm các chuyên gia quyết định chúng, nhưng trong thực tế, điều này dường như không xảy ra. Trong mọi trường hợp, khi sử dụng kappa có trọng số, chúng ta nên nêu các trọng số được sử dụng. Tôi nghi ngờ rằng trong thực tế mọi người sử dụng trọng số mặc định của chương trình. Nếu chúng ta kết hợp các danh mục, kappa có trọng số vẫn có thể thay đổi, nhưng nó sẽ làm như vậy ở một mức độ nhỏ hơn so với kappa không có trọng số. Chúng ta nên nêu các trọng số được sử dụng cho kappa có trọng số. Các trọng số trong Bảng 9 đôi khi được gọi là các trọng số tuyến tính. Trọng số tuyến tính tỷ lệ với số danh mục cách nhau. Các trọng số trong Bảng 10 đôi khi được gọi là các trọng số bậc hai. Quyền số bậc hai tỷ lệ với bình phương của số loại cách nhau. Bảng 9 và 10 hiển thị các trọng lượng như được định nghĩa ban đầu bởi Cohen (1968). Cũng có thể mô tả các trọng số là trọng số cho thỏa thuận hơn là bất đồng. Đây là những gì Stata làm. (SPSS 16 không tính kappa có trọng số.) Stata sẽ cung cấp trọng số cho thỏa thuận hoàn hảo dọc theo đường chéo chính (tức là “kém” và “kém”, “công bằng” và “công bằng”, v.v.) là 1,0. Sau đó, nó đưa ra trọng số nhỏ hơn cho các ô khác, trọng số nhỏ nhất là trọng lượng nhỏ nhất cho sự bất đồng lớn nhất (tức là “kém” và “xuất sắc”). Bảng 11 cho thấy các trọng số tuyến tính cho sự đồng ý hơn là cho sự bất đồng, được tiêu chuẩn hóa để 1,0 là sự đồng ý hoàn hảo. Giống như Bảng 9, các trọng số được đặt cách đều nhau và giảm dần về không. Để lấy trọng số của sự đồng ý từ những trọng số không đồng ý, chúng tôi lấy giá trị lớn nhất trừ trọng số của sự bất đồng và chia cho giá trị lớn nhất đó. Đối với trọng số bậc hai của Bảng 10, chúng tôi nhận được trọng số bậc hai cho thỏa thuận như trong Bảng 12. Cả hai phiên bản của trọng số tuyến tính đều cho cùng một thống kê kappa, cũng như cả hai phiên bản của trọng số bậc hai. 9 Bảng 13. Xếp hạng của 40 câu là ‘Người lớn’, ‘Cha mẹ’ hoặc ‘Trẻ em’ của 10 nhà phân tích giao dịch, Falkowski et al. (1980) Tuyên bố Observer ABCDEFGHIJ 1 CCCCCCCCCC 2 PCCCCPCCCC 3 ACCCCPPCCC 4 PAAAPACCCC 5 AAAAPAAAAP 6 CCCCCCCCCC 7 AAAAPAAAAA 8 CCCCACPACC 9 PPPPPPPAPP 10 PPPPPPPPPP 11 PCCCCPCCCC 12 PPPPPPACCP 13 PAPPPAPPAA 14 CPPPPPPCAP 15 AAPPPCPAAC 16 PACPPACCCC 17 PPCCCCPACC 18 CCCCCAPCCC 19 CACCCACACC 20 ACPCPPPACP 21 CCCPCCCCCC 22 AACAPACAAA 23 PPPPPAPPPP 24 PCPCCPPCPP 25 CCCCCCCCCC 26 CCCCCCCCCC 27 APPAPACCAA 28 CCCCCCCCCC 29 AACCAAAAAA 30 AACAPPAPAA 31 CCCCCCCCCC 32 PCPPPPCPPP 33 PPPPPPPPPP 34 PPPPACCACC 35 PPPPPAPP A P 36 P P P P P P P P P C P 37 A C P P P P P P P P P P P P P P P P A 38 C C C C C C C C C P 39 A P C C C C C C 40 A P C A A A A A A Kappa đối với nhiều quan sát viên Cohen (1960, 1968) chỉ xử lý hai quan sát viên. Trong hầu hết các nghiên cứu về sự thay đổi của người quan sát, chúng tôi muốn quan sát trên một nhóm đối tượng bởi nhiều người quan sát. Ví dụ, Bảng 13 cho thấy kết quả của một nghiên cứu về sự thay đổi của người quan sát trong phân tích giao dịch (Falkowski và cộng sự 1980). Các nhà quan sát đã xem đoạn băng ghi hình cuộc thảo luận giữa các đối tượng biếng ăn và gia đình của họ. Các nhà quan sát đã phân loại 40 câu nói được đưa ra bởi ‘người lớn’, ‘cha mẹ’ hoặc ‘trẻ em’, như một cách hiểu về mối quan hệ tâm lý giữa các thành viên trong gia đình. Đối với một số tuyên bố, chẳng hạn như tuyên bố 1, có sự đồng ý hoàn hảo, tất cả các nhà quan sát đều đưa ra cách phân loại như nhau. Các câu lệnh khác, ví dụ: tuyên bố 15, không đưa ra thỏa thuận giữa các quan sát viên. Những dữ liệu này được thu thập như một bài tập xác nhận, để xem liệu 10 có bất kỳ thỏa thuận nào giữa các quan sát viên hay không. Trong phần này, chúng tôi mở rộng kappa cho hơn hai người quan sát. Fleiss (1971) đã mở rộng Cohen ’s kappa vào nghiên cứu về sự nhất trí giữa nhiều nhà quan sát. Để ước tính kappa theo phương pháp Fleiss ’, chúng tôi bỏ qua bất kỳ mối quan hệ nào giữa những người quan sát đối với các đối tượng khác nhau. Phương pháp này không tính đến bất kỳ trọng số nào của các bất đồng và do đó phù hợp với dữ liệu của Bảng 13. Chúng tôi sẽ bỏ qua các chi tiết. Đối với Bảng 13, = 0,43. Fleiss chỉ đưa ra sai số chuẩn của kappa để kiểm tra giả thuyết không có thỏa thuận. Đối với Bảng 13, SE () = 0,02198. Nếu giả thuyết rỗng là đúng, tỷ lệ / SE () sẽ là từ Phân phối Chuẩn Chuẩn; / SE () = 0,43156 / 0,02198 = 19,6, P & lt; 0,001. Thỏa thuận này rất có ý nghĩa và chúng tôi có thể kết luận rằng các đánh giá của các nhà phân tích giao dịch không phải là ngẫu nhiên. Fleiss chỉ đưa ra sai số chuẩn của kappa cho nhiều người quan sát theo giả thuyết vô hiệu. Sự phân bố của kappa nếu có thỏa thuận là không được biết, có nghĩa là khoảng tin cậy và so sánh thống kê kappa chỉ có thể là gần đúng. Chúng ta có thể mở rộng phương pháp của Fleiss cho trường hợp khi số lượng người quan sát không giống nhau đối với mỗi đối tượng nhưng khác nhau và đối với kappa có trọng số. Tài liệu tham khảo Barrett, J.F.R., Jarvis, G.J., Macdonald, H.N., Buchan, P.C., Tyrrell S.N., và Lilford, R.J. (1990) Sự không nhất quán trong quyết định lâm sàng trong sản khoa Lancet 336, 549-551. Cohen, J. (1960) Một hệ số thỏa thuận cho các thang đo danh nghĩa. Đo lường Tâm lý và Giáo dục 20, 37-46. Cohen, J. (1968) Kappa có trọng số: thỏa thuận quy mô danh nghĩa với điều khoản cho bất đồng theo quy mô hoặc tín dụng một phần. Bản tin Tâm lý 70, 213-220. Esmail, A. và Bland, M. (1990) Cắt caesarian cho suy thai. Lancet 336, 819. Falkowski, W., Ben-Tovim, D.I., và Bland, J.M. (1980) Đánh giá trạng thái bản ngã. Tạp chí Tâm thần học của Anh 137, 572-573. Fleiss, J.L. (1971) Đo lường thỏa thuận quy mô danh nghĩa giữa nhiều người đánh giá. Bản tin Tâm lý 76, 378-382. Landis, J.R. và Koch, G.G. (1977) Việc đo lường sự đồng ý của người quan sát đối với dữ liệu phân loại. Sinh trắc học 33, 159-74. J. M. Bland, tháng 7 năm 2008. Xem Thêm Top 15 kết quả tìm kiếm quá khứ của need mới nhất 2022 Xem Thêm [Miễn Phí] Gửi tiền là gì ? Những lợi nhuận tuyệt vời của tiền gửi có thể bạn chưa biết | xác minh tiền gửi là gì – Xác minh Xem thêm các nội dung liên quan đến đề tài chỉ số kappa là gì
Xem thêm các nội dung khác thuộc thể loại: hỏi đáp Điều hướng nội dungXem thêm những thông tin liên quan đến đề tài chỉ số kappa là gì
Xem thêm các nội dung khác thuộc thể loại: Thủ thuật máy tính |
