gms | German Medical Science

Fragestellung/Einleitung: Ausgehend von der Frage „Stellen Chirurgen kürzere Fragen als Internisten oder Psychosomatiker?“ zeigte es sich, dass fachspezifische Unterschiede bei wissenschaftlichen Untersuchungen zur Aufgabenkomplexität bislang nur wenig untersucht worden sind [1]. Zur Klärung der Frage, ob sich die unterschiedliche Aufgabenkomplexität bei schriftlichen Prüfungen zwischen sprechenden und nicht-sprechenden bzw. operativen Fachgebieten unterscheidet, wurden in der vorliegenden Studie Fragen der Prüfungsdatenbank Item-Management-System (IMS) [2] untersucht.

Methoden: Zur Untersuchung der Fragestellung wurden deutsch-sprachige Multiple-Choice-Items vom Typ A ausgewählt und 1108 Fragen aus dem Fachbereich Chirurgie, 2554 Fragen aus dem Fachbereich der Inneren Medizin und 1246 Fragen aus dem Fachbereich Psychosomatische Medizin bzw. Psychiatrie analysiert. Die Verteilung der Zahl der Zeichen sowie der Zahl der Wörter wurde auf syntaktischer Ebene untersucht und auf statistische Unterschiede getestet.

Ergebnisse: In der Analyse zeigten sich fachspezifische Unterschiede bei der Zeichenlänge und Anzahl der Wörter bei der Vignette als auch beim Fragetext (Mittelwert der Zeichenlänge im Fachgebiet Chirurgie: 90.6, Psychosomatik/Psychiatrie: 114.7, Innere Medizin: 119.2). Die unterschiedlichen Verteilungs-Charakteristika sowie weitere Ergebnisse bezüglich der Unterschiede bei der Länge von Vignetten, Fragetext und der Antwortoptionen werden im Vortrag präsentiert werden.

Diskussion/Schlussfolgerung: Die Ergebnisse dieser Studie sind als deskriptive Informationen zu interpretieren, die im Rahmen einer Analyse der Items einer Prüfungsdatenbank erhoben wurden. Auf Basis der vorgestellten fachspezifischen Verteilungs-Charakteristiken könnten durch den Einbezug von weiteren Kennzahlen zur Fragenqualität Algorithmen entwickelt werden, die bei einer ressourcenoptimierten Qualitätssicherung unterstützen könnten. Mögliche Vorteile sowie Limitationen dieser Vorgehensweise werden im Vortrag dargestellt und diskutiert werden.