gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Reliabilität und prädiktive Validität einer OSPE im 6. Semester im Fach Zahnerhaltungskunde im Hinblick auf die Staatsexamensnote

Artikel Prüfungen

  • Petkov Petko - Goethe-Universität, Carolinum Zahnärztliches Universitäts-Institut gGmbH, Poliklinik Zahnerhaltungskunde, Frankfurt am Main, Deutschland
  • Katja Knuth-Herzig - Goethe-Universität, Institut für Psychologie & Interdisziplinäres Kolleg Hochschuldidaktik, Frankfurt am Main, Deutschland
  • Sebastian Hoefer - Goethe-Universität, Klinik für Mund-, Kiefer- und Plastische Gesichtschirurgie, Frankfurt am Main, Deutschland
  • Sebastian Stehle - Goethe-Universität, Institut für Psychologie & Interdisziplinäres Kolleg Hochschuldidaktik, Frankfurt am Main, Deutschland
  • Sonja Scherer - Goethe-Universität, Institut für Psychologie & Interdisziplinäres Kolleg Hochschuldidaktik, Frankfurt am Main, Deutschland
  • Björn Steffen - Goethe-Universität, Medizinische Klinik II, Hämatologie und Internistische Onkologie, Frankfurt am Main, Deutschland
  • Stephan Scherzer - Goethe-Universität, Zentrum für Innere Medizin, Frankfurt am Main, Deutschland
  • Falk Ochsendorf - Goethe-Universität, Klinik für Dermatologie, Venerologie und Allergologie, Frankfurt am Main, Deutschland
  • Holger Horz - Goethe-Universität, Institut für Psychologie & Interdisziplinäres Kolleg Hochschuldidaktik, Frankfurt am Main, Deutschland
  • Robert Sader - Goethe-Universität, Klinik für Mund-, Kiefer- und Plastische Gesichtschirurgie, Frankfurt am Main, Deutschland
  • corresponding author Susanne Gerhardt-Szép - Goethe-Universität, Carolinum Zahnärztliches Universitäts-Institut gGmbH, Poliklinik Zahnerhaltungskunde, Frankfurt am Main, Deutschland

GMS J Med Educ 2017;34(1):Doc10

doi: 10.3205/zma001087, urn:nbn:de:0183-zma0010873

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2017-34/zma001087.shtml

Eingereicht: 23. Oktober 2015
Überarbeitet: 20. Oktober 2016
Angenommen: 9. November 2016
Veröffentlicht: 15. Februar 2017

© 2017 Petko et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Einleitung: Ziel dieser Studie war es zu evaluieren, ob das Prüfungsformat einer OSPE (Objective Structured Practical Examination) durchgeführt im Fach Zahnerhaltungskunde (6. Fachsemester) den Studienerfolg im praktischen Teil des Staatsexamens (11. Fachsemester) im selben Fach prädiziert. Ferner sollte unter Berücksichtigung allgemeiner Angaben der StudienteilnehmerInnen (Abitursnote, Physikumsnote, Studiendauer, Kohorte und Geschlecht) analysiert werden, ob bezüglich der Gesamt- sowie Teilnoten der OSPE und der adäquaten Staatsexamensprüfung Zusammenhänge oder Unterschiede bestehen.

Methoden: Im Rahmen dieser longitudinalen, retrospektiven Studie wurden für einen Zeitraum von 11 Semestern prüfungsbezogene Daten von Studierenden (N=223) des Fachbereichs Zahnmedizin in Frankfurt am Main erhoben und untersucht. Für die statistische Auswertung der Daten wurden Spearman Rangkorrelationen, Partialkorrelationen, Korrelationskoeffizienten nach Pearson, und Multiple Regressionen (SPSS Statistics 21, IBM Corporation, New York) berechnet.

Ergebnisse: Die Ergebnisse zeigen, dass OSPE (Cronbachs α=.87) mit dem Erfolg im praktischen Teil des Staatsexamens im Fach Zahnerhaltungskunde korreliert (p=.01, r=.17). Als eine weitere signifikante Korrelation mit der Examensleistung erwies sich die Dauer des Studiums (p=.001, r=.23). Gemeinsam leisten diese beiden Variablen einen signifikanten Beitrag zur Vorhersage der Examensnote (p=.001, R2=.076). Das zeigte sich im größeren Umfang bei weiblichen Studierenden. Zudem wurde festgestellt, dass diese bessere Abiturnoten als männliche Studierende aufweisen (F=6.09, p=.01, η2=.027) und dass es lediglich bei männlichen Studierenden eine signifikante Korrelation zwischen der Physikumsnote (Zahnärztliche Vorprüfung) und der OSPE-Benotung gab (r=.17, p=.01).

Schlussfolgerung: In der vorliegenden Untersuchung konnte der prädiktive Effekt einer klinischen OSPE auf die Prüfungsleistung im Staatsexamen gezeigt werden. Unter Berücksichtigung der Limitation der Studie empfiehlt sich aus unserer Sicht die Durchführung eines solchen Prüfungsformats im Rahmen des klinischen Studienabschnitts im 6. Semester im Fach Zahnmedizin.

Schlüsselwörter: OSPE, OSCE, Prädiktive Validität, Reliabilität, Staatsexamen, Studiendauer, klinische Kompetenz


1. Einleitung und Problemstellung

Geregelt durch die Approbationsordnung für Zahnärzte [https://www.gesetze-im-internet.de/_appro_2002/ zitiert am 22.10.2015], besteht das Zahnmedizinstudium aus einem vorklinischen und einem klinischen Studienabschnitt mit einer Dauer von jeweils fünf Semestern. Dabei spielen sowohl der theoretische Wissenserwerb als auch in beträchtlichem Ausmaß das Erlernen praktischer Fertigkeiten eine Rolle. Im vorklinischen Ausbildungsabschnitt werden naturwissenschaftliche Grundlagen und die wissenschaftlichen Prinzipien der Medizin vermittelt, während im klinischen Abschnitt parallel zum theoretischen Wissenserwerb durch Vorlesungen auch die direkte Wissensanwendung und das Erlangen therapeutischer Routine im ersten klinischen Semester zunächst am Phantompatienten (siehe Abbildung 1 [Abb. 1]) und darauffolgend im Rahmen von mehreren Patientenbehandlungskursen erfolgt (siehe Abbildung 2 [Abb. 2]).

Im ersten klinischen Semester stellt das Fach Zahnerhaltungskunde den Schwerpunkt dar. Hier werden die Studierenden im Simulationslabor ausgebildet. Zur Qualifizierung der Studierenden für den ersten Behandlungskurs am Patienten werden patientennahe Behandlungsabläufe simuliert und durch ein systematisches Training die erforderlichen grundlegenden manuellen Fertigkeiten und Techniken der restaurativen Zahnheilkunde und Endodontie vermittelt.

Das Erlangen zahnmedizinischer Kompetenzen während der Ausbildung erfordert eine enge Verknüpfung von Prüfungen und Lehre, „constructive alignment“ [1]. Aus diesem Grund steht die Analyse geeigneter Prüfungsformate seit vielen Jahren im Fokus der zahnmedizinischen Lehrforschung [2]. Im Zahnmedizinstudium werden vornehmlich die verschiedensten Formen des arbeitsplatzbasierten Prüfens in den klinischen Patientenbehandlungskursen praktiziert. Hier werden Prüfungsformate angewendet, die nicht nur Fakten- und Handlungswissen erfassen, sondern auch die praktischen Kompetenzen der Studierenden [3].

Es existieren verschiedene, international beschriebene Prüfungsmethoden zur Überprüfung der praktischen Kompetenz von Studierenden in komplexen Situationen wie z.B. Clinical Evaluation Exercise (CEX) [4], Mini-Clinical Evaluation Exercise (mCEX) [5], Entrustable Professional Activities (EPA) [6], Directly Observed Procedural Skills (DOPS) [6], Portfolio [7], die allesamt aufgrund verschiedener Faktoren wie unzureichender Inhaltsvalidität, fraglicher Reliabilität, geringer Akzeptanz oder umständlicher Durchführbarkeit bislang nur begrenzte Anwendung in der Zahnmedizin finden. Häufig hingegen werden in der Zahnmedizin Prüfungsformen angewendet, die die Millersche Ebene „zeigt wie“ abbilden. Diese Settings bieten sich zur Überprüfung praktischer Fertigkeiten und kommunikativer Kompetenzen an, wobei in diesem Zusammenhang vor allem OSCEs (Objective Structured Clinical Examinations) [8], [9], OSPEs (Objective Structured Practical Examinations) [10] und der Einsatz von geschulten Simulations- bzw. standardisierten Patienten, z.B. im Rahmen einer OSCE, erwähnt werden [11], [12]. In der internationalen Literatur werden die Begriffe OSCE und OSPE meist synonym verwendet. Das Prüfungsformat OSCE wird seit seiner Einführung im Jahr 1975 [13] im Fach Medizin weltweit in vielen verschiedenen Fachgebieten [14], sowie seit den 1990er Jahren auch im Rahmen zahnmedizinischer Prüfungen [8], [9], [15] erfolgreich als Prüfungsinstrument eingesetzt. Neben seiner breiten Akzeptanz unter den Studierenden, die OSCE im Vergleich zu traditionellen schriftlichen und mündlichen Prüfungen als gerechtere und stressfreiere Prüfungsform empfinden [16], verstärkt diese Prüfungsform zusätzlich die Fähigkeiten im Bereich der klinischen Kompetenz [9], [11], [17], fördert die kommunikativen Fähigkeiten [9], ebenso wie das Lernen selbst und trägt zu einer besseren Selbsteinschätzung der Teilnehmer bei [16], [17], [18].

Im Verlauf einer OSCE durchlaufen die Studierenden verschiedene Stationen, bei denen jeweils praktische Tätigkeiten (auch Teilabschnitte einer Behandlung) oder Patientengespräche (Simulationspatienten) durchgeführt werden. Eine Spezialform von OSCEs stellen OSPEs dar, bei denen praktische Fertigkeiten, Wissen und Interpretation von Daten in einer nichtklinischen Situation (z.B. im Simulationslabor) erfolgen. Im Unterschied zum OSCE können im Rahmen einer OSPE ganze Arbeitsprozesse geprüft werden (alle Einzelschritte und das fertige „Endprodukt“, z.B. im Bereich der Zahnerhaltungskunde eine Füllung oder ein Inlay).

In Frankfurt am Main werden OSCEs (im 3. klinischen Semester in den Fächern Zahnersatzkunde sowie Mund-, Kiefer-, Gesichtschirurgie), OSPEs (am Ende des ersten klinischen Semesters im Fach Zahnerhaltungskunde) und Simulationspatienten (im Rahmen von OSCEs) eingesetzt. Zum Abschluss des zahnmedizinischen Studiums, während des Staatsexamens, werden von allen Studierenden neben theoretischen auch praktische Prüfungen abgelegt, wobei hier alle Leistungen ausschließlich selbstständig am Patienten erbracht werden (siehe Abbildung 3 [Abb. 3]).

Das Ziel, eine bestmögliche Vorbereitung der Studierenden auf die Behandlung der Patienten zu gewährleisten, erfordert eine kritische Überprüfung des Konzepts der bestehenden Regelungen zur Ausbildung praktischer Fertigkeiten und Fähigkeiten im Vergleich zu theoretischen Kenntnissen in der Zahnmedizin. Frühzeitig erkannte Kompetenzmängel könnten im Verlauf bis zum Staatsexamen individuell von den Studierenden zusammen mit den Lehrenden aufgearbeitet werden. Dafür müsste jedoch Evidenz darüber erhoben werden, ob verschiedene Prüfungsformate, selbst wenn sie jeweils die identischen Kompetenzen (beispielsweise die praktischen Fertigkeiten und Fähigkeiten) abbilden, miteinander korrelieren. Dabei sollten auch Faktoren, wie beispielsweise das Geschlecht der Studierenden, die Studiendauer, die Abiturnote oder die Physikumsnote, auf einen möglichen Einfluss und prädiktiven Wert hin überprüft werden. Das Hauptziel dieser Studie war dementsprechend, zu überprüfen, ob die Gesamtnote des OSPE im 6. Semester die praktische Examensnote im Fach Zahnerhaltungskunde prädiziert. Zudem sollte geklärt werden, ob es Korrelation zwischen den einzelnen Teilnoten des OSPE im 6. Semester und den korrespondierenden praktischen Teilnoten im Examen gibt.


2. Material und Methoden

2.1. Untersuchungszeitraum und Setting

Für diese longitudinale retrospektive Studie wurden die Daten von insgesamt zwei Semestern (erstes und letztes klinisches Semester) erhoben. Der untersuchte Zeitraum lag zwischen Beginn des Sommersemesters 2009 und Ende des Sommersemesters 2014. Es wurden Personen in die Berechnungen aufgenommen, von denen zu allen genannten Variablen Daten vorlagen. Neben einem Dropout zwischen den beiden untersuchten Prüfungen (n=39, 14,61%), waren auch das Fehlen der Angaben zur Physikumsnote (48 Fälle), Abiturnote (33 Fälle), Geschlecht (6 Fälle) oder Studiendauer (219 Fälle) ein Grund für den Ausschluss der Person aus den Berechnungen. Zudem lagen OSPE Daten von Studierenden aus aktuellen Semestern vor, zu denen es naturgemäß zum Zeitpunkt der Berechnungen noch keine Examensnote geben konnte. Bei den Personen, die als Dropout gewertet wurden liegen zudem keine Informationen vor, ob es sich um einen echten Dropout handelt oder lediglich Prüfungsnoten nicht mehr nachvollziehbar waren.

2.2. Studienteilnehmer

StudienteilnehmerInnen waren Lernende des Fachs Zahnmedizin des Carolinum Zahnärztliches Universitäts-Institut gGmbH Frankfurt am Main. Die Untersuchung erfolgt durch Analyse der vorliegenden Prüfungsergebnisse des OSPE (retrospektiv ab SS 2009), und des Staatsexamens (retrospektiv ab WS 2011/12). Außerdem wurden persönliche Angaben der Teilnehmer wie Alter, Geschlecht, Abiturnote, Physikumsnote und Studiendauer evaluiert sowie eine Zuordnung zu Kohorten gebildet. Die untersuchte Stichprobe bestand aus 223 Studierenden, davon 141 Frauen und 82 Männer.

Bedingungen vor Ort
2.2.1. Sechstes Semester

Am Ende des ersten klinischen Semesters (6. Fachsemester) werden im Fach Zahnerhaltungskunde die erworbenen Kenntnisse durch mündliche und praktische Prüfungen erfasst. Die praktische Semesterabschlussprüfung im Zahnärztlichen Universitäts-Institut Carolinum in Frankfurt am Main wird in Form einer OSPE durchgeführt. Dort werden Einzelbewertungen durch standardisierte Checklisten erhoben. Bei den OSPEs in Frankfurt am Main wurden drei bis vier PrüferInnen eingesetzt. Die Prüfung besteht aus zwei Aufgaben – Füllungstherapie und Inlay. Beide werden in Untereinheiten unterteilt. Zum Item Füllung sind dies:

1.
Primärpräparation,
2.
Unterfüllung und Sekundärpräparation,
3.
Füllung und
4.
Füllung gesamt.

Die Station Inlay wird unterteilt in

1.
Kavitätenaußenränder
2.
Kavitäteninnenränder
3.
Breite und Tiefe
4.
Glätte
5.
Nachbarzahn

Die einzelnen Teilbewertungen (Items) sind in Abbildung 3 dargestellt. Sie werden jeweils mit Schulnoten zwischen 1 (sehr gut) und 5 (ungenügend) bewertet und zu einer Note für die entsprechende Station zusammengefasst. Die Bewertung „Füllung gesamt“ setzt sich aus den Einzelnoten „Primärpräparation“, „Unterfüllung/Sekundärpräparation“ und „Füllung“ zusammen. Am Ende der Prüfung wird aus den Benotungen „Füllung gesamt“ und „Inlay gesamt“ eine OSPE-Gesamtnote gebildet.

2.2.2. Staatsexamenssemester

Im Rahmen des zahnmedizinischen Staatsexamens (11. klinisches Fachsemester) dauert die praktische Prüfung im Fach Zahnerhaltungskunde fünf Tage. Die Prüfungskandidaten müssen mehrere Leistungen selbstständig am Patienten durchführen. Dazu gehören eine Wurzelkanalbehandlung, eine Präparation zur Aufnahme eines Inlays und die Eingliederung der fertigen Restauration, eine Frontzahnfüllung, eine Seitenzahnfüllung und zwei zahnmedizinische Patientenbefunde. Das Prüfungsformat im Staatsexamen testet ebenso wie die OSPE im 6. Semester die prozeduralen Fertigkeiten, allerdings auf dem höchsten Kompetenzniveau. Die mit OSPE im 6. Semester korrespondierenden Leistungen Füllung und Inlay sind hier im selben Umfang erhalten. Die Bewertung im Staatsexamen erfolgt durch zwei PrüferInnen und für die Notenvergabe werden ebenfalls standardisierte Checklisten eingesetzt. Die für unsere Vergleichsuntersuchung relevanten Stationen Füllung und Inlay beinhalten nachfolgend aufgeführte Teilschritte. Für Füllung:

1.
Primärpräparation,
2.
Kofferdam,
3.
Unterfüllung und Sekundärpräparation,
4.
Matrize,
5.
Füllung vor Politur,
6.
Füllung nach Politur,
7.
Füllung gesamt.

für die Station Inlay:

1.
Präparation (Primär und Sekundär),
2.
Abformung,
3.
Provisorium,
4.
Inlay vor Eingliederung,
5.
Inlay nach Eingliederung,
6.
Inlay gesamt.

Für die Items Füllung und Inlay beinhaltet die Examenscheckliste mitunter dieselben Unterkategorien wie die OSPE-Checkliste im 6. Semester. Der Teilschritt „Kofferdam“ im Examen gehört in die Bewertung „Unterfüllung und Sekundärpräparation“ im OSPE, die „Matrize“ und die Schritte „Füllung vor bzw. nach der Politur“ sind Teil des Abschnittes „Füllung“ im OSPE. Die fünf Teilschritte der Station „Inlay“ im OSPE werden im Examen unter „Präparation“ subsummiert. Schritte zwei bis fünf (Abformung bis Inlay nach Eingliederung) sind im OSPE nicht abgebildet, weil im Rahmen dieser Prüfung keine indirekte Restauration angefertigt wird. Dies würde mehrere Tage dauern, da sie in einem zahntechnischen Labor angefertigt wird und somit nicht Inhalt des dreistündigen OSPE zu realisieren ist. Die einzelnen Schritte werden auch im Examen jeweils mit Schulnoten zwischen 1 (sehr gut) und 5 (ungenügend) bewertet.

2.3. Auswertungsmethoden

Die statistische Analyse wurde in Zusammenarbeit mit dem Fachbereich Pädagogische Psychologie (Frankfurt am Main), durchgeführt. Alle Auswertungen wurden mit dem Programm SPSS Statistics 21 (IBM Corporation, New York) unter Berechnung von Spearmans Rangkorrelation, Partieller Korrelation, Korrelationskoeffizient nach Pearson und (Multiplen) Linearen Regressionen erstellt.


3. Ergebnisse

3.1. Allgemeine Ergebnisse
3.1.1. Reliabilität des OSPE

Der OSPE zeigte, berechnet über alle Teilbewertungen insgesamt eine hohe interne Konsistenz von Cronbachs α=.87. Die beiden Teilaufgaben für Füllung (Cronbachs α=.84) und Inlay (Cronbachs α=.87) erreichten ebenfalls eine gute interne Konsistenz.

3.1.2. Prädiktion der Staatsexamensnoten durch OSPE

Bei der beschriebenen Stichprobe von Studierenden korrelierte die OSPE-Gesamtnoten signifikant positiv mit der praktischen Examensgesamtnote (Spearmans Rangkorrelation, r=.14, p=.03). Es zeigte sich, dass leistungsstärkere OSPE-Noten mit leistungsstärkeren praktischen Examensnoten einhergehen. Im Mittel erhielten die Studierenden im OSPE eine Bewertung von 3.79 (Standardabweichung/SD=.81) und konnten im Staatsexamen eine mittlere Verbesserung um etwa 2 Notenstufen (M=1.87, SD=.38) erreichen.

Neben der OSPE-Note korrelierte von den erfassten Variablen lediglich die Studiendauer (Spearmans Rangkorrelation, r=.20, p=.003) signifikant mit der Examensnote, wobei eine leistungsstärkere Examensnote mit einer kürzeren Studiendauer einherging, eine längere Studiendauer mit einer schlechteren Examensnote.

Die Berechnung einer multiplen Regression mit schrittweisem Hinzufügen der OSPE Note und der Studiendauer ergab, dass beide einen signifikanten Beitrag zur Vorhersage der Examensnote leisten (ß=.16, p=.02, R2=.08).

3.1.3. Zusammenhang zwischen Teilnoten des OSPE und Teilnoten der Staatsexamensprüfung (Füllung und Inlay)

Zusätzlich wurden die OSPE-Noten für Inlay und Füllung mit den Noten für die inhaltlich entsprechenden Teilprüfungen des praktischen Examens korreliert (siehe Tabelle 1 [Tab. 1]). Diese beiden Teilprüfungen wurden ausgewählt, da sie wegen großer inhaltlicher Überschneidungen einen relativ direkten Vergleich zulassen und ein Zusammenhang der Noten nahe legen. Hierbei ließ sich, unter Kontrolle der Kohorte als möglicher Einflussfaktor, feststellen, dass die Noten für Füllung in OSPE und Examen nicht signifikant miteinander korrelierten (r=.12, p=.07). Die Noten für Inlays zeigten dagegen einen solchen Zusammenhang (r=.13, p=.05).

Innerhalb einer Prüfung korrelierten die beiden Noten jeweils hoch miteinander. Das bedeutet, dass, wer gut (oder schlecht) in einem Teil der Prüfung abgeschnitten hat, auch im anderen Teil entsprechend gute (oder schlechte) Leistungen zeigte. Das spiegelt die gute Reliabilität der OSPE Gesamtprüfungen wieder (siehe Tabelle 1 [Tab. 1]).

3.2. Genderunterschiede
3.2.1. Prüfungsnoten und Studiendauer

Bei 141 untersuchten weiblichen und 82 männlichen Studierenden konnte innerhalb der OSPE kein statistisch signifikanter Unterschied hinsichtlich des Geschlechts in den Teilnoten für Füllung und Inlay (indirekte Restauration) oder der Gesamtnote festgestellt werden. Auch bezüglich der Teilnoten und Gesamtnote im Staatsexamen zeigte sich kein Geschlechterunterschied. Ebenfalls bei der Studiendauer. Lediglich bei den Noten für Abitur und Physikum konnten Geschlechtsunterschiede ermittelt werden. Im Bereich der Abiturnoten zeigte sich, dass weibliche Studierende (M=2.12) signifikant besser Noten hatten (F=6.09, p=.01, η2=.03) als männliche Studierende (M=2.31). Es konnten jedoch keine Korrelationen der Abiturnoten mit OSPE oder Staatsexamen gefunden werden, und somit lässt sich der Erfolg im OSPE beziehungsweise im praktischen Staatsexamen nicht durch die Abiturnoten vorhersagen. Dies kann in der Nutzung der Abiturnote als Selektionskennwert bei der Zulassung zum Studium begründet liegen, was deren Varianz in der Stichprobe deutlich einschränkt. Im Physikum (Zahnärztliche Vorprüfung) zeigte sich, dass männliche Studierende mit einem Mittelwert von 2.24 signifikant besser (F=4.15, p=.04, η2=.02) abgeschnitten hatten als weibliche Studierende (M=2.40). Bei den männlichen Studierenden korrelierte diese Note zudem signifikant (r=.24, p=.03) mit dem OSPE, wobei eine leistungsstärkere OSPE-Note mit einer leistungsstärkeren Physikumsnote einherging, bei den weiblichen nicht (r=.12, p=.17). Es konnten dagegen keine signifikanten Korrelationen zwischen Physikumsnote und Examensnote festgestellt werden.

3.2.2. Prädiktion der Staatsexamensnoten durch OSPE

Betrachtet man auch die Korrelation des OSPE getrennt nach Geschlecht der Studierenden, zeigt sich, dass bei den weiblichen Studierenden eine höhere Korrelation (r=.195, p=.02) zwischen OSPE und Note im Staatsexamen zu finden ist als bei den Männern (r=.137, p=.22). Ebenfalls zeigt sich eine hohe Korrelation (r=.27, p=.007) zwischen Studiendauer und Examensnote lediglich bei den weiblichen Studierenden, wenn nach Geschlechtern getrennt gerechnet wird. Die Berechnung getrennter multipler Regression mit schrittweisem Hinzufügen dieser beiden Variablen ergab, dass diese lediglich bei den weiblichen Studierenden einen signifikanten Beitrag zur Vorhersage der Examensnote leisten (ß=.18, p=.03, R2=.10). Bei männlichen Studierenden war dieser Beitrag geringer (p=.16, R2=.05).


4. Diskussion

Die im internationalen Kontext gut bekannte Prüfungsform des OSCE weist Reliabilitätswerte zwischen Cronbachs α .40 und .91 auf [19]. Dies lässt sich sowohl für den rein medizinischen als auch für den dentalen Bereich feststellen [10], [18]. OSPE stellt eine mehr auf praktische Kompetenzen ausgerichtete Variation der OSCE dar [10]. Beide Begriffe werden in der Literatur häufig gleichbedeutend verwendet [10].

Studien zur prädiktiven Validität von OSCE/OSPE aus der Medizin und Zahnmedizin [8], [15], [17], [18], [20] belegen, dass die Leistungen der Studierenden in OSCE deren spätere klinische Kompetenz reflektieren. Unsere Studie bestätigt für die besondere Form einer OSPE eine hohe Reliabilität und eine prädiktive Validität für den Studienerfolg im praktischen Staatsexamen im Fach Zahnerhaltungskunde und steht somit im Einklang mit den oben zitierten Studien. Im Gegensatz dazu konnte in einer zahnmedizinischen Studie [21] keine signifikante Korrelation zwischen OSCE und Staatsexamen nachgewiesen werden. Eine mögliche Ursache wäre darin zu sehen, dass dort die Gesamtnote des Examens untersucht wurde (bestehend aus praktischem und mündlichem Examen), während unsere Studie den direkten Vergleich der praktischen Fertigkeiten thematisierte. Es sind keine weiteren Publikationen bekannt, die OSCE/OSPE und Staatsexamen bezüglich Noten für identische Teilprüfungen untersucht haben. In diesem Zusammenhang stellt die vorliegende Studie eine Novität dar. Überraschend ist dabei, dass der Zusammenhang zwischen OSPE und praktischem Staatsexamen bei Frauen wesentlich deutlicher ist, was eine Reihe weiterer interessanter Fragen aufwirft. Dabei darf aber die Limitation der vorliegenden Studie nicht vergessen werden, dass die potentiellen Einflussfaktoren „Aufgaben“ und „Prüfer“ auf Basis der vorliegenden Daten, mit den verwendeten Methoden nicht mit analysiert werden konnten.

Des Weiteren ließ sich in unserer Arbeit feststellen, dass zwar die Noten für Inlays, jedoch nicht für Füllung bei OSPE und Examen signifikant miteinander korrelierten.

Dies könnte an den unterschiedlichen Prüfungssettings (OSPE versus Staatsexamensprüfung) liegen. Es bleibt jedoch festzuhalten, ob nun die Prüfung unter klinischen Bedingungen an Phantompatienten (OSPE) oder an Patienten (Examen) stattfindet, die Aufgaben Füllung und Inlay offenbar ein sehr ähnliches Maß an Transferleistung und handwerklichen Fertigkeiten innerhalb einer Prüfung erfordern. Innerhalb einer Prüfung korrelierten diese beiden Teilnoten jeweils miteinander. Zwischen den Prüfungen scheinen sich die Anforderungen bei Inlay allerdings ähnlicher zu sein als bei der Füllung. Hier könnte vermutet werden, dass das räumliche Vorstellungsvermögen, dem generell bei Ausübung praktischer Tätigkeiten eine gewichtige Rolle zuteilwird, einen gemeinsamen Einfluss ausübt.

Die generelle Steigerung der praktischen Kompetenzen von der OSPE (im Mittel Note 3.79) hin zu der Staatsexamensbewertung (im Mittel 1.87) kann aus unserer Sicht auf einen erwünschten Trainingseffekt zurückgeführt werden. Diese Beobachtungen stimmen mit Ergebnissen der Studie von Sloan überein [20].

Weiterhin zeigte sich, dass weibliche Studierende signifikant bessere Abiturnoten erzielt haben, obwohl die vorliegende Spannweite der Noten durch ihre Nutzung als Kriterium für die Zulassung zum Studium stark eingeschränkt ist. Ähnliche Ergebnisse zeigt eine Analyse nach Auswertung der Daten von über 126 000 TeilnehmerInnen, die die Abiturprüfung bestanden und damit die formale Voraussetzung für ein Universitätsstudium erreicht hatten [http://www.it.nrw.de zitiert am 22.10.2015]. Festzuhalten bleibt jedoch, dass die Abiturnoten keine Korrelationen mit OSPE- oder dem praktischen Staatsexamensbewertungen aufwiesen.

Bei männlichen Studierenden war dagegen im Vergleich die Physikumsnote besser und es konnte eine Korrelation zwischen OSPE-Note und Physikumsnote festgestellt werden, die zeigt, dass eine leistungsstärkere OSPE-Note mit einer leistungsstärkeren Physikumsnote einhergeht. Dieser Zusammenhang ließ sich bei den weiblichen Studierenden nicht finden. Zu diesen Ergebnissen existieren keine publizierten und somit auch keine zitierbaren Vergleichsstudien. Tatsache ist, dass im Unterschied zur OSPE-Note, die die praktische Fertigkeit bewertet, es sich bei der Physikumsnote um ein Konglomerat aus vier mündlichen Beurteilungen (Anatomie, Physiologie, Biochemie, Zahnersatzkunde) handelt. Die Note für Zahnersatzkunde umfasst auch eine praktische Bewertung, die sich aber im Rahmen unseres Studiensettings retrospektiv nicht herausfiltrieren ließ. Welcher gemeinsame Faktor oder Faktoren beide Noten bei männlichen Studierenden beeinflusst, kann daher nicht gesagt werden. Ferner ergaben die Zusammenhangsanalysen unserer Untersuchung eine Korrelation zwischen Studiendauer und Leistung im praktischen Examen. Eine längere Studiendauer korrelierte signifikant mit einer leistungsschwächeren Examensnote. Identische Ergebnisse wurden in einer zahnmedizinischen Untersuchung von Eberhard bestätigt [21]. Eine längere Studiendauer könnte dazu führen, dass die Motivation der Studierenden leidet bzw. die Einbindung in die Semesterzugehörigkeit derart gestört wird, dass von dieser ausgehende positive Auswirkungen verloren gehen. Zudem könnte die längere Studiendauer per se ein Hinweis auf externe Einflussfaktoren sein, die sowohl die Abschlussnote als auch die Dauer des Studiums beeinflussen. Denkbar wäre hier beispielsweise die finanzielle oder familiäre Situation der Studierenden. Das würde dazu passen, dass der Einfluss nur bei weiblichen Studierenden zu finden ist, wenn nach Geschlecht getrennt berechnet wird. Es konnte bereits gezeigt werden, dass diese stärker durch Mehrfachbelastungen wie Studium und Familie betroffen sind [22]. Bei den vorliegenden Ergebnissen zeigen sich insgesamt, durch die geringe und mittlere Höhe der Korrelationen sowie durch geringe Effektstärken, mehrere Hinweise darauf, dass weitere Einflussfaktoren im Modell fehlen. Das ist nicht weiter verwunderlich, da hier lediglich Leistungskennwerte und ähnliche Variablen betrachtet wurden. Der gesamte Bereich der Personenmerkmale fehlt bisher. Auch bei den Merkmalen der (Prüfungs)Situation sind die Daten nicht vollständig. Grund für beide Limitierungen ist die retrospektive Erfassung der Daten. Weiterhin als kritisch anzusehen ist die Tatsache, dass bei der vorliegenden Studie ausschließlich komplette Fälle erfasst wurden, was die Validität der Schlussfolgerungen aus den statistischen Analysen limitieren kann.


5. Fazit

Hinsichtlich der erzielten Ergebnisse kann man festhalten, dass die Prüfungsform der OSPE den Erfolg im praktischen Teil des Staatsexamens im Fach Zahnerhaltungskunde teils prädiziert, wenn auch die Ergebnisse erwartungsgemäß zusätzliche Einflussfaktoren wie die Studiendauer zeigen und weitere, aus den vorliegenden Daten nicht ersichtlichen, vermuten lassen. Für zukünftige Forschung wäre es daher wünschenswert, solche Faktoren das Studium begleitend zu erheben.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Biggs J. Enhancing teaching through constructive alignment. High Educ. 1996;32(3):347-364. DOI: 10.1007/BF00138871 Externer Link
2.
Abou-Rass MA. Clinical evaluation instrument in endodontics. J Dent Educ. 1973;37(9):22-36.
3.
Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl):S63-67. DOI: 10.1097/00001888-199009000-00045 Externer Link
4.
Thornton S. A literature review of the long case and its variants as a method of assessment. Educ Med J. 2012;4(1).
5.
Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med. 2003;138(6):476-481. DOI: 10.7326/0003-4819-138-6-200303180-00012 Externer Link
6.
Hauer KE, Kohlwes J, Cornett P, Hollander H, Cate ten O, Ranji SR. Identifying entrustable professional activities in internal medicine training. J Grad Med Educ. 2013;5(1):54-59. DOI: 10.4300/JGME-D-12-00060.1 Externer Link
7.
Gadbury-Amyot CC, McCracken MS, Woldt JL, Brennan RL. Validity and reliability of portfolio assessment of student competence in two dental school populations: a four-year study. J Dent Educ. 2014;78(5):657-667.
8.
Graham R, Bitzer LAZ, Anderson OR. Reliability and Predictive Validity of a Comprehensive Preclinical OSCE in Dental Education. J Dent Educ. 2013;77(2):161-167.
9.
Ratzmann A, Wiesmann U, Kordaß B. Integration of an Objective Structured Clinical Examination (OSCE) into the dental preliminary exams. GMS Z Med Ausbild. 2012;29(1):Doc09. DOI: 10.3205/zma000779 Externer Link
10.
Schmitt L. Reliabilität der OSPE (Objective Structured Practical Examination) in Abhängigkeit von der Prüferanzahl und den Bewertungskriterien im ersten klinischen Semester des Faches Zahnerhaltungskunde, Promotion. Frankfurt: Goethe Universität Frankfurt am Main; 2014.
11.
Hallberg J. Quantitative Analyse der OSCEs eines Phantomkurses der Zahnerhaltung und Parodontologie, Promotion. Hannover: Medizinische Hochschule Hannover; 2012.
12.
Ortwein H, Fröhmel A, Burger W. Einsatz von Simulationspatienten als Lehr-, Lern und Prüfungsform. Psychother Psych Med. 2006;56:23-29. DOI: 10.1055/s-2005-867058 Externer Link
13.
Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence us-ing objective structured examination. BMJ. 1975;1(5955):447-451. DOI: 10.1136/bmj.1.5955.447 Externer Link
14.
Nayak V, Bairy KL, Adiga S, Shenoy S, Chogtu BM, Amberkar M, Kumari KM. OSPE in Pharmacology: Comparison with the conventional Method and Students' Perspective Towards OSPE. Br Biomed Bull. 2014;2(1):218-222.
15.
Martin IG, Jolly B. Predictive validity and estimated cut score of an objective structured clinical examination (OSCE) used as an assessment of clinical skills at the end of the first clinical year. Med Educ. 2002;36(5):418-425. DOI: 10.1046/j.1365-2923.2002.01207.x Externer Link
16.
Smith LJ, Price DA, Houston IB. Objective structured clinical examination compared with other forms of student assessment. Arch Dis Child. 1984;59:1173-1176. DOI: 10.1136/adc.59.12.1173 Externer Link
17.
Schoonheim-Klein ME, Habets LL, Aartman IH, van der Vleuten CP, Hoogstraten J, van der Velden U. Implementing an Objective Structured Clinical Examination (OSCE) in dental education: effects on students' learning strategies. Eur J Dent Educ. 2006;10(4):226-235. DOI: 10.1111/j.1600-0579.2006.00421.x Externer Link
18.
Brown G, Manogue M, Martin M. The validity and reliability of an OSCE in dentistry. Eur J Dent Educ. 1999;3(3):117-125. DOI: 10.1111/j.1600-0579.1999.tb00077.x Externer Link
19.
Cohen R, Reznick RK, Taylor BR, Provan J, Rothman A. Reliability and validity of the objective structured clinical examination in assessing surgical residents. Am J Surg. 1990;160(3):302-305. DOI: 10.1016/S0002-9610(06)80029-2 Externer Link
20.
Sloan DA, Donnelly MB, Schwartz RW, Felts JL, Blue AV, Strodel WE. The use of objective structured clinical examination (OSCE) for evaluation and instruction in graduate medical education. J Surg Res. 1996;63(1):225-230. DOI: 10.1006/jsre.1996.0252 Externer Link
21.
Eberhard L. Der erste Eindruck zählt? – Prädiktive Validität einer vorklinischen OSCE. Vortrag auf der AKWLZ-Tagung in Ulm. Ulm: Universität Ulm; 2014.
22.
Middendorf E, Apolinarski B, Poskowsky J, Kandulla M, Netz N. Die wirtschaftliche und soziale Lage der Studierenden in Deutschland 2012. 20. Sozialerhebung des Deutschen Studentenwerks durchgeführt durch das HIS-Hochschul-Informations-System. Bonn: Bundesministerium für Bildung und Forschung; 2013.