Uji Kappa Cohen: Cara Mengukur Kesepakatan Antar-Penilai

Uji Kappa Cohen adalah ukuran kesepakatan antara dua penilai yang mengelompokkan objek yang sama ke dalam kategori. Berbeda dengan persentase kesepakatan biasa, Kappa mengoreksi kesepakatan yang bisa terjadi hanya karena kebetulan (Cohen, 1960).

Kappa sering dipakai untuk menguji reliabilitas penilaian, misalnya dua guru menilai esai, dua peneliti mengode data wawancara, atau dua dokter membaca hasil rontgen. Artikel ini menjelaskan rumus, cara membaca hasilnya, dan cara menghitungnya di SPSS dengan contoh lengkap.

Artikel ini bagian dari seri Materi Statistik IDTesis dan melengkapi artikel uji reliabilitas.

Kapan Uji Kappa Dipakai?

• Dua penilai menilai objek yang sama secara terpisah.
• Hasil penilaian berupa kategori, baik nominal (misalnya jenis kesalahan) maupun ordinal (misalnya kurang, cukup, baik). Penjelasan jenis skala ada di artikel skala pengukuran.
• Setiap objek masuk tepat satu kategori.

Jika penilainya lebih dari dua, gunakan Fleiss’ Kappa (Fleiss, 1971). Jika nilainya berupa angka kontinu, misalnya skor 0–100, gunakan intraclass correlation coefficient (ICC).

• Po adalah kesepakatan teramati, yaitu proporsi objek yang dinilai sama oleh kedua penilai.
• Pe adalah kesepakatan yang diharapkan karena kebetulan, dihitung dari total baris dan total kolom tabel silang.

Nilai Kappa 1 berarti sepakat sempurna, 0 berarti kesepakatannya tidak lebih baik dari kebetulan, dan nilai negatif berarti lebih buruk dari kebetulan.

Contoh Uji Kappa

Dua dosen (Penilai A dan Penilai B) menilai 60 esai mahasiswa ke dalam tiga kategori: Kurang, Cukup, dan Baik. Angka di bawah berasal dari data ilustrasi.

Langkah perhitungan:

Walaupun kedua penilai sepakat pada 78,3% esai, sekitar 34,3% kesepakatan itu bisa terjadi hanya karena kebetulan. Setelah dikoreksi, kesepakatannya ? = 0,670 (95% CI 0,510–0,830; p < 0,001).

Cara Membaca Nilai Kappa

Pada contoh, Kappa = 0,670 tergolong substansial menurut Landis dan Koch, tetapi hanya sedang menurut McHugh. McHugh (2012) menilai patokan Landis dan Koch terlalu longgar untuk penelitian kesehatan, ketika keputusan diagnosis berdampak langsung pada pasien. Pilih satu patokan, sebutkan sumbernya, dan pakai secara konsisten.

Weighted Kappa untuk Kategori Berurutan

Pada kategori berurutan, tidak semua ketidaksepakatan sama beratnya. Menilai “Kurang” lawan “Baik” lebih parah daripada “Kurang” lawan “Cukup”. Weighted kappa memberi bobot berdasarkan jarak antarkategori (Cohen, 1968). Pada contoh, weighted kappa linier = 0,718 dan kuadratik = 0,772. Nilainya lebih tinggi karena sebagian besar ketidaksepakatan hanya berbeda satu kategori.

Menyiapkan data dua penilai, memilih jenis Kappa, dan menuliskan hasilnya sering membingungkan. Jika Anda butuh teman diskusi, tim IDTesis bisa membantu.

Langkah Uji Kappa di SPSS

1. Susun data dalam dua kolom: penilaian Penilai A dan Penilai B, satu baris untuk satu objek. Pastikan kode kategorinya sama (misalnya 1 = Kurang, 2 = Cukup, 3 = Baik).
2. Buka Analyze –> Descriptive Statistics –> Crosstabs. Masukkan Penilai A ke Row dan Penilai B ke Column.
3. Klik Statistics, centang Kappa, lalu klik Continue dan OK.
4. Baca tabel Symmetric Measures: Value (? = 0,670), Asymptotic Standard Error (0,082), dan Approximate Significance.
5. Pada SPSS versi baru, weighted kappa tersedia di Analyze –> Scale –> Weighted Kappa, dan Fleiss’ Kappa di menu Reliability Analysis.

Tabel silang di SPSS dibahas juga di artikel analisis crosstab.

Contoh Penulisan Hasil

Reliabilitas antarpenilai diuji dengan Kappa Cohen terhadap 60 esai yang dinilai secara terpisah oleh dua dosen. Kedua penilai sepakat pada 47 esai (78,3%). Nilai Kappa sebesar 0,670 (95% CI 0,510–0,830; p < 0,001) menunjukkan kesepakatan yang substansial menurut kategori Landis dan Koch (1977). Ketidaksepakatan paling banyak terjadi antara kategori Cukup dan Baik, sehingga rubrik untuk kedua kategori tersebut diperjelas sebelum penilaian utama.

Angka di atas hanya contoh. Ganti dengan hasil analisis Anda sendiri.

Kesalahan yang Sering Terjadi

• Hanya melaporkan persentase kesepakatan tanpa koreksi kebetulan.
• Memakai Kappa untuk skor kontinu. Untuk skor angka, gunakan ICC.
• Kode kategori kedua penilai tidak sama, sehingga SPSS tidak bisa menghitung Kappa.
• Mengabaikan pola ketidaksepakatan. Tabel silang menunjukkan kategori mana yang perlu diperjelas di rubrik.

Pertanyaan yang Sering Diajukan

Mengapa persentase kesepakatan tinggi tetapi Kappa rendah?

Hal ini disebut paradoks Kappa. Jika hampir semua objek masuk satu kategori, kesepakatan karena kebetulan menjadi sangat tinggi, sehingga Kappa turun drastis (Feinstein & Cicchetti, 1990). Laporkan persentase kesepakatan dan sebaran kategori bersama Kappa.

Berapa nilai Kappa minimal yang dapat diterima?

Banyak penelitian memakai 0,60 atau 0,70 sebagai batas minimal. Untuk penelitian kesehatan, McHugh (2012) menyarankan batas yang lebih tinggi. Ikuti kebiasaan bidang Anda dan sebutkan sumbernya.

Berapa objek yang perlu dinilai bersama?

Tidak ada angka pasti, tetapi makin banyak objek, makin sempit selang kepercayaannya. Pada contoh dengan 60 esai, selang kepercayaan masih cukup lebar (0,51–0,83).

Apakah Kappa bisa dipakai untuk menilai soal uraian?

Bisa, jika nilai soal dikelompokkan ke dalam kategori. Untuk analisis kualitas soal secara keseluruhan, lihat artikel analisis butir soal.

Butuh Teman Diskusi untuk Uji Kappa?

Penelitian Anda melibatkan dua penilai atau pengodean data dan perlu diuji reliabilitasnya?

Tim IDTesis bisa menemani Anda menyiapkan data, memilih jenis Kappa yang tepat, dan menuliskan hasilnya dengan rapi. Ceritakan dulu penelitian Anda lewat WhatsApp, atau lihat layanan olah data statistik.

Baca juga: Uji Reliabilitas · Analisis Crosstab · Skala Pengukuran

Referensi

• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
• Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220.
• Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549.
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
• McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282.