gms | German Medical Science

Hintergrund: Zur schriftlichen Leistungserfassung von klinischen Entscheidungen wurde das Aufgabenformat „Patient Management Problems“ (PMP) entwickelt, in dem zu einem Fallszenario Aufgaben zu den Einzelschritten bei Bearbeitung und Management eines Falls zu lösen sind [1]. Es zeigte sich jedoch, dass die damit entwickelten Prüfungen auch bei einer Bearbeitungszeit von 3 Std. nur eine mäßig hohe Messzuverlässigkeit von 0,50-0,60 aufwiesen [2]. Als Hauptursache wurde die hohe Fall- oder Inhaltsspezifität („case“/„content specificity“) der Aufgaben identifiziert (Aufgaben innerhalb eines Falls korrelieren höher untereinander als mit denen anderer Fälle). Als Reaktion darauf wurde das Prüfungsformat der "Key-Feature-Aufgaben" (KF) entwickelt, mit welchem reliabel und valide die Fähigkeit zu klinischen Entscheidungsfindung geprüft werden kann. Diese fokussieren je Fall auf wenige kritische Schlüsselsituationen, die repräsentativ die bei klinischen Entscheidungen notwendigen Schritte abdecken. Dadurch können z. B. bei gleicher Prüfungszeit von 3½ h 30-40 KF-Fälle anstelle von 12-15 PMPs abgefragt werden [2].

Unter der Annahme einer Bearbeitungszeit von 2 min je Fallvignette und 2 min je Einzelaufgabe fanden Norman et al. [3] für die von ihnen analysierten Prüfungen, dass bei fester Gesamtprüfungsdauer KF-Prüfungen mit 2-3 Aufgaben je Fall hinsichtlich ihrer Reliabilität optimal sind.

Zielsetzung: Für die an der med. Fakultät Heidelberg in den Jahren 2016-2019 durchgeführten 16 KF-Prüfungen in Pädiatrie und 9 in Notfallmedizin soll die Fallspezifität untersucht werden. Insbesondere ist die optimale Aufgabenzahl je Fall zur Maximierung der relativen Messgenauigkeit (=Generalizability) und der absoluten Messgenauigkeit (=Dependability) zu bestimmen.

Methoden: Die genannten 25 KF-Prüfungen mit insgesamt 1548 Teilnehmern werden mittels der Generalisierbarkeitstheorie analysiert.

Ergebnisse: Die Korrelationen der Aufgaben innerhalb eines Falls (Mittel 0,15) sind signifikant höher als zwischen Fällen (Mittel 0,10, p<0,05). Bei Kontrolle der False Discovery Rate <0,05 ist in 14 Prüfungen die Fallspezifität signifikant. Hinsichtlich der relativen Messgenauigkeit ist eine Zahl von 4-5 Aufgaben je Fall optimal, zur Maximierung der absoluten Genauigkeit sind 3-4 Aufgaben anzusetzen.

Diskussion: Grund für die höhere optimale Aufgabenzahl (4-5) gegenüber [3] (mit 2-3 Aufgaben) ist die niedrigere Fallspezifität bei den hier untersuchten Prüfungen. Für die in der Literatur bislang wenig beachtete, u. E. aber relevantere absolute Messgenauigkeit erweist sich eine niedrigere Aufgabenzahl (3-4) je Fall als optimal.

Take Home Messages: Die optimale Zahl von Aufgaben je KF-Fall ist abhängig von der Größe der Fallspezifität, somit prüfungsspezifisch. Allgemeine Angaben hierzu sind daher nur bedingt hilfreich. Neben der relativen Messgenauigkeit sollte bei der Qualitätssicherung von Prüfungen die absolute Genauigkeit stärker in den Fokus genommen werden.