www.alskrankheit.net © Gesundheitswissenschaften
Eine Inter-Rater-Übereinstimmung ist ein Maß dafür, wie konsistent Messungen zwischen zwei oder mehr Beobachtern (oder „Ratern“) sind. Zum Beispiel verwenden medizinische Forscher oft eine Gruppe von Ärzten, um die Wirkungen eines Behandlungsexperiments zu beobachten und zu kategorisieren. Die Messung der Konsistenz zwischen Beobachtern ist wichtig, weil wir sicherstellen wollen, dass alle Effekte, die wir sehen, auf unser Experiment und nicht auf große Unterschiede zwischen den Beobachtern zurückzuführen sind. Die primäre Statistik, die zur Messung der Inter-Rater-Übereinstimmung verwendet wird, wird „Kappa“ genannt.
Berechnen Sie die prozentuale Übereinstimmung, indem Sie die Anzahl der übereinstimmenden Beobachtungen durch die Gesamtzahl der Beobachtungen teilen. Betrachten Sie das Beispiel eines Experiments mit 100 Patienten, die eine Behandlung für Asthma erhalten. Zwei Ärzte werden gebeten, die Patienten in zwei Kategorien einzuteilen: kontrolliert (ja) oder nicht kontrolliert (nein) Asthmasymptome. Die Ergebnisse könnten wie folgt aussehen:
Beide Rater Ja 70
Beide Rater Nein 15
Rater #1 Ja/Rater #2 Nein 10
Rater #1 Nein/Rater #2 Ja 5
Gesamtzahl der Beobachtungen: 100
In diesem Beispiel wäre die prozentuale Übereinstimmung (Pa) die Anzahl der Beobachtungen, in denen die Rater übereinstimmen (70+15), geteilt durch die Gesamtzahl der Beobachtungen (100), also 85 Prozent. Dies wird im Zähler der endgültigen Gleichung verwendet.
Berechnen Sie die aufgrund von Zufall erwartete Übereinstimmung. Ein Teil der beobachteten Übereinstimmung ist auf reines Glück zurückzuführen. Wir können berechnen, wie viel Übereinstimmung gesehen würde, wenn die Beobachtungen völlig zufällig wären.
In unserem Beispiel:
Beide Ja 70
Beide Nein 15
#1 Ja/#2 Nein 10
#1 Nein/#2 Ja 5
Gesamtzahl der Beobachtungen: 100
Dr. #1 bewertete Ja 80/100 oder 80 Prozent der Zeit (.80).
Dr. #1 bewertete Nein 20/100 oder 20 Prozent der Zeit (.20).
Dr. #2 bewertete Ja 75/100 oder 75 Prozent der Zeit (.75).
Dr. #2 bewertete Nein 25/100 oder 25 Prozent der Zeit (.25).
Wenn die Beobachtungen zufällig wären, wäre die Wahrscheinlichkeit, dass beide Ja bewerten (.80)x(.75), also 60 Prozent, und die Wahrscheinlichkeit, dass beide Nein bewerten (.15)x(.25), also 4 Prozent.
Somit wäre die Gesamtwahrscheinlichkeit der Übereinstimmung aufgrund von Zufall (Pe) die Summe dieser: (.60)+(.04), also 64 Prozent. Dies wird im Zähler und Nenner der endgültigen Gleichung verwendet.
Berechnen Sie Kappa mit der folgenden Gleichung:
k = (Pa) - (Pe)
----------------
1 - (Pe)
In unserem Beispiel:
k = (.85) - (.64) / 1 - (.64) = (.58) oder 58 Prozent
Bewerten Sie Kappa, um zu bestimmen, ob die Inter-Rater-Übereinstimmung stark ist. Eine gute Faustregel ist, dass Kappas über 80 Prozent ausgezeichnet und über 60 Prozent gut sind. Alles unter 60 Prozent gilt als weniger als optimale Übereinstimmung.
In unserem Beispiel ist 58 Prozent auf der Grenze zu guter Inter-Rater-Reliabilität, und die Studienergebnisse sollten unter diesem Aspekt interpretiert werden.
Bewerten Sie Kappa für mehr als zwei Rater mit Hilfe von Fleiss' Kappa-Berechnungen. Dies ist eine viel kompliziertere Berechnung, die mit einem Computer durchgeführt werden sollte.
www.alskrankheit.net © Gesundheitswissenschaften