gms | German Medical Science

Ziel: Ziel der Untersuchung war die Beurteilung der Reproduzierbarkeit der Bewertung von kieferorthopädischen Plattenapparaturen durch Zahnärzte im Rahmen des kieferorthopädischen Technikkurses.

Material und Methode: Insgesamt 38 Studierende des ersten klinischen Semesters stellten jeweils 2 gleiche kieferorthopädische Plattenapparaturen (N=76) her, welche von 4 Weiterbildungsassistenten für Kieferorthopädie beurteilt wurden. Die Kriterien Ausarbeitung, Politur und Fehlerfreiheit des Kunststoffs sowie Gesamteindruck wurden anhand eines Notensystems von 1 („sehr gut“) bis 6 („ungenügend“) beurteilt. Die Gesamtnote wurde als gerundeter Mittelwert der vier gleichwertigen Einzelkriterien berechnet. Im Abstand von 7 Tagen erfolgte eine erneute Bewertung nach denselben Kriterien. Die Weiterbildungsassistenten wurden vor Durchführung der Bewertung nicht kalibriert. Insgesamt lagen 608 Bewertungen für die Analysen vor. Die Reproduzierbarkeit der Gesamt- und der Einzelnoten der einzelnen Bewerter (Intra-Rater-Reliabilität) wurde mittels gewichtetem Kappa bestimmt. Die Übereinstimmung zwischen den Bewertern (Inter-Rater-Reliabilität) erfolgte durch Berechnung eines Intraclass Correlation Coefficients (ICC) basierend auf einer zwei-faktoriellen Varianzanalyse (ANOVA) mit gemischten Effekten.

Ergebnisse: Die Bewerter urteilten mit unterschiedlicher Strenge. Die genutzten Notenbereiche reichten von 1–3 bis 1–5 und die entsprechenden Durchschnittsnoten von 1,5 bis 3,0. Etwa 2/3 (65,5%) der Gesamtnoten unterschieden sich nicht zwischen beiden Bewertungsdurchgängen. Abweichungen bestanden nur um eine Note. Die Übereinstimmungen bei den Einzelnoten reichten von 57% (Fehlerfreiheit) bis 68% (Gesamteindruck). Die Intra-Rater-Reliabilität war sowohl für die Gesamtnoten (gewichtetes Kappa=0,79) als auch für die Einzelnoten (gewichtetes Kappa=0,75–0,81) ausgezeichnet. Demgegenüber war die Inter-Rater-Reliabilität für die Gesamtnoten (ICC=0,47) nur mittelmäßig und bei den Einzelnoten (ICC=0,27–0,55) zum Teil gering.

Schlussfolgerung: Insgesamt zeigte eine erneute Bewertung der Apparaturen eine gute Reliabilität. Wenn die Beurteilung von Arbeiten auf mehrere Bewerter aufgeteilt wird, so sollten diese kalibriert oder adjustiert werden, um eine Vergleichbarkeit der Noten zu gewährleisten.