Psychologielexikon

Urteilerübereinstimmung

auch: Konkordanz, die Übereinstimmung der Einschätzungen zweier oder mehrerer Beurteiler in einem Gegenstandsbereich, ausgedrückt in Prozentangaben, Streuungen oder Korrelationen. Prozentuale Übereinstimmungen sind unbrauchbar, solange sie nicht auf die zufälligen prozentualen Übereinstimmungen relativiert werden. Diese Werte lassen sich i.d.R. in standardisierte Korrelationskoeffizienten transformieren. Standardabweichungen sind als Kriterium zur Beurteilung der Übereinstimmung weniger geeignet als Korrelationskoeffizienten, weil Streuungswerte skalenabhängig sind, d.h., mit wachsendem Skalenumfang (z.B. Antwortkategorien 1-9 statt 1-5) nimmt auch die Abweichung zu. Zur Interpretation der Streuungen werden normierte Vergleichswerte benötigt (z.B. über z-Transformation). Korrelationen variieren dagegen zwischen -1, 0 und +1. Werte nahe 1 bedeuten eine sehr hohe Übereinstimmung, 0 keine; Übereinstimmungen unter 0 gelten als keine Übereinstimmung (äquivalent zu 0).

Bei Korrelationen sind Koeffizienten absoluter und relativer Übereinstimmung zu unterscheiden. Bei absoluter verringern Mittelwertsdifferenzen zwischen Urteilern die Übereinstimmung, bei relativen nicht. So kann die relative Übereinstimmung (z.B. Pearson-Korrelationskoeffizient) der Selbst- und Fremdeinschätzung der eigenen Leistung trotz eines bedeutenden Mittelwertsunterschiedes r=1 betragen, wenn die verschiedenen Personen sich selbst immer konstant um den gleichen Faktor höher beurteilen als Vorgesetzte. Die absolute Übereinstimmung (z.B. Intraklassenkorrelation) ist in diesem Fall aber r