gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Anfänge von Learning Analytics in einem Blended-Learning-Curriculum für Allgemeinmedizin an der Universität des Saarlandes – ein quantitativer Überblick

Artikel Learning Analytics

  • author Helene Junge - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland
  • author Kerstin Schuster - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland
  • author Aline Salzmann - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland
  • author Sara Volz-Willems - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland
  • author Johannes Jäger - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland
  • corresponding author Fabian Dupont - Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

GMS J Med Educ 2023;40(6):Doc71

doi: 10.3205/zma001653, urn:nbn:de:0183-zma0016534

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2023-40/zma001653.shtml

Eingereicht: 2. März 2023
Überarbeitet: 27. Juli 2023
Angenommen: 28. August 2023
Veröffentlicht: 15. November 2023

© 2023 Junge et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Die medizinische Ausbildung wurde durch die wachsende Bedeutung des digitalen Lernens revolutioniert. Über das Online-Lernverhalten der Studierenden und dessen Zusammenhang mit den Studienleistungen ist wenig bekannt. Diese quantitative Studie analysiert und beschreibt das digitale Lernverhalten der Studierenden in einem Blended-Learning-Curriculum für Allgemeinmedizin an der Universität des Saarlandes, Deutschland. Daneben wird der Zusammenhang zwischen digitalem Lernverhalten und Prüfungsleistungen untersucht.

Methoden: Kohorten- und individualisierte AMBOSS® Nutzerdaten von 195 Studierenden der Universität des Saarlandes wurden quantitativ ausgewertet. Die Leistungen in den kursspezifischen Multiple-Choice-Fragesitzungen und die Nutzerdaten der integrierten Online-Lernaktivitäten wurden miteinander und mit den Noten der Klausur im Fach Allgemeinmedizin korreliert. Als Referenzkohorte dienten anonymisierte Daten von 10.534 Studierenden von 35 anderen deutschen Universitäten. Unterschiede im digitalen Lernverhalten zwischen den Gruppen wurden mit dem Mann-Whitney-U-Test für nicht-normalverteilte Daten berechnet.

Ergebnisse: Die Studierenden des Blended-Learning-Kurses nutzten integrierte Inhalte häufiger als die Referenzkohorte (U=48777, p<0,001). Die Anzahl der gelesenen digitalen Lernkarten korrelierte moderat mit der Leistung im formativen Assessment (ρ=0,331, p=0,005 und ρ=0,217, p=0,034). Die Ergebnisse des formativen Assessments und die Prüfungsergebnisse korrelierten in der Kohorte des Sommersemesters stark (ρ=0,505, p<0,001) und in der Kohorte des Wintersemesters moderat (ρ=0,381, p<0,001).

Schlussfolgerungen: Es gibt einen Unterschied in der Nutzung von Online-Lernaktivitäten, wenn diese gezielt in einen Lehrplan integriert werden. Digitale Lernaktivitäten, die formatives Assessment enthalten, können als wertvolle, konstruktiv ausgerichtete Prüfungsvorbereitung dienen. Dies ist für Lehrende in der Allgemeinmedizin bei der Planung künftiger Blended-Learning-Lehrpläne und Portfoliosysteme von Bedeutung, da so finanzielle und personelle Ressourcen eingespart werden können.

Schlüsselwörter: formatives Assessment, digitales Lernverhalten, Blended Learning, Medizinstudium


1. Einleitung

In den letzten Jahren hat das Online-Lernen die Art und Weise, wie Medizinstudierende im Studium für das Fach Allgemeinmedizin (AM) lernen, verändert. Mit der Entwicklung neuer Inhalte wie Apps, Podcasts, Multiple Choice (MC) Fragesessions und Online-Lernplattformen sind Online-Lernaktivitäten (OLA) für eine moderne Lernumgebung unerlässlich geworden [1], [2]. Diese Tools werden für die Ausbildung angehender Ärzt*innen von entscheidender Bedeutung sein, zumal die weltweite COVID-19-Pandemie das Distanzlernen noch stärker in den Vordergrund gerückt hat [3], [4], [5]. Frühere Studien haben eine hohe Akzeptanz von Online-Lernen unter Studierenden gezeigt [6]. Es gibt Evidenz dafür, dass Blended Learning (BL) den traditionellen Präsenzlehrplänen in Bezug auf den Wissenserwerb überlegen sein könnte [7], [8]. Gleichzeitig scheint es wenig institutionelle Unterstützung und Instruktion hinsichtlich der Implementation von Online-Lernen an medizinischen Fakultäten zu geben [9], [10], [11], [12].

Eine in jüngster Zeit aufkommende Praxis, um das webbasierte Lernverhalten von Studierenden zu verfolgen, zu speichern und für Lehrende in den Gesundheitswissenschaften auswertbar zu machen, ist die Anwendung von sogenannten „learning analytics“ [13]. Obwohl in der medizinischen Ausbildung bereits eine große Menge an Lerndaten über digitale Lernplattformen gesammelt wird, ist die Praxis der „learning analytics“ an medizinischen Fakultäten noch relativ neu und wurde bisher nur selten für die allgemeinmedizinische Ausbildung eingesetzt [14].

„Learning analytics“ kann verschiedene Datenquellen berücksichtigen, z. B. die Anzahl der Anmeldungen bei E-Learning-Plattformen oder die auf E-Learning-Plattformen verbrachte Zeit [13]. Ein weiteres Instrument, das für „learning analytics“ genutzt werden kann, ist das formative Assessment (FA). Frühere Studien haben gezeigt, dass sich FA positiv auf das Lernen und die akademischen Leistungen auswirkt, indem es Studierenden Feedback und Orientierung zu ihrem Lernprozess gibt [15], [16], [17]. Obwohl MC-Fragen traditionell mit summativem Assessment assoziiert sind, können sie ebenso für FA in der medizinischen Ausbildung verwendet werden und sind bei Lernenden beliebt [15], [16], [17], [18], [19]. Frühere Studien haben gezeigt, dass wiederholte Tests während des Lernprozesses das langfristige Behalten von Informationen bei Studierenden verbessert [20], [21]. Der „testing effect“ beschreibt den Umstand, dass Studierende bessere Prüfungsleistungen zeigen, wenn ein oder mehrere „Tests“ in die Prüfungsvorbereitung einbezogen werden, selbst wenn die Prüfung aus neuen, anspruchsvolleren Fragen besteht [21]. Damit MC-Fragen als FA-Instrument dienen können, sollte bei der Beantwortung jeder Frage ein Hinweis und/oder eine Erläuterung der Ergebnisse gegeben werden, da Feedback einen wesentlichen Bestandteil von FA darstellt [22], [23]. Es wurde außerdem festgestellt, dass FA am besten funktioniert, wenn es in ein geplantes Curriculum integriert ist [22]. Auf der Grundlage dieser Erkenntnisse können MC-Fragen ein wertvolles Instrument für FA-Übungen in BL-Curricula sein und als Instrument für „learning analytics“ genutzt werden.

An der Universität des Saarlandes (UdS) sind verschiedene OLA wie Podcasts, MC-Fragen und Lernkarten in ein neues BL-Pflichtcurriculum für die Allgemeinmedizin-Lehre im fünften Studienjahr integriert. Einige der im Kurs verwendeten OLA (MC-Fragen und Lernkarten) werden von AMBOSS® zur Verfügung gestellt, einem in Europa und den USA weit verbreiteten Anbieter von OLA für das Medizinstudium [24]. Da frühere Studien Korrelationen zwischen digitalem Lernverhalten und Prüfungsleistungen gezeigt haben, zielt diese Studie darauf ab, diese Beziehung für einen BL-AM-Kurs im Medizinstudium zu untersuchen [25], [26]. Durch die Analyse der Nutzung von digitalen Lernkarten und FA-Sessions durch die Studierenden während des AM-Kurses sowie deren Korrelation mit den allgemeinmedizinischen Prüfungsleistungen und den Noten des ersten Staatsexamens soll diese quantitative Studie die folgenden Fragen beantworten: Gibt es einen Zusammenhang zwischen der Nutzung von Lernkarten und den Leistungen in FA? Gibt es eine Korrelation zwischen Leistungen in FA und den allgemeinmedizinischen Prüfungsleistungen? Durch den Vergleich von Nutzerdaten aus zwei verschiedenen Semesterkohorten an der UdS und einer bundesweiten Referenzkohorte soll diese Studie außerdem Folgendes untersuchen: Gibt es einen Unterschied in der Nutzung digitaler Lernressourcen an der Universität des Saarlandes zwischen Studierenden im Sommer- und Wintersemester? Wie nutzen die Studierenden der UdS digitale Lernkarten, die in ein AM-BL-Curriculum integriert sind, im Vergleich zu einer bundesweiten Kohorte?


2. Methoden

2.1. Teilnehmende und Rahmenbedingungen

Die Teilnehmende waren Medizinstudierende des 5. Studienjahres der UdS, die im Wintersemester 2020/21 oder im Sommersemester 2021 am Pflichtkurs AM teilnahmen. Einschlusskriterien waren die Zustimmung zur Teilnahme über ein Online-Formular, ein aktives AMBOSS® Konto, die Angabe der Registrierungs-E-Mail-Adresse und die Teilnahme an der 60 Fragen umfassenden Abschlussprüfung für den BL-Kurs. Die Nutzungsgebühren für AMBOSS® wurden von der Universität für alle Studierenden unabhängig von der Teilnahme übernommen. 86 (93%) Studierende des Wintersemesters und 109 (98%) Studierende des Sommersemesters stimmten der Studienteilnahme zu. Aus der AMBOSS® Datenbank wurden für den BL-Kurs 34 Lernkarten und neun speziell konzipierte MC-Fragesitzungen mit je 30 Fragen („UdS-Sessions“) ausgewählt. Die ausgewählten Inhalte wurden in maßgeschneiderte Online-Materialien der AM, wie Kommentare, Podcasts, Screen- und Videocasts und Online-Vorlesungen, auf der Homepage des Curriculums integriert. Die Studierenden konnten während des gesamten Semesters auf diese Homepage zugreifen. Sie konnten die MC-Fragen-Sitzungen jederzeit absolvieren, es wurde jedoch empfohlen, dies nach dem Studium des zugehörigen Materials zu tun. Um Lerneffekte durch wiederholtes Ausfüllen zu vermeiden, wurde die Punktzahl jedes ersten Versuchs einer MC-Fragen-Sitzung für die Datenanalyse verwendet. Die richtigen Antworten der MC-Fragen mit Erklärungen wurden nach der Beantwortung bereitgestellt.

2.2. Datenerhebung

Die AMBOSS® Nutzerdaten der teilnehmenden UdS-Studierenden wurden für das Wintersemester (01/10/20-28/02/21) und das Sommersemester (01/04/21-31/08/21) erfasst. Der Datensatz enthielt Nutzerdaten aus den UdS- Sessions, wie die Anzahl der beantworteten Fragen und die Rate der initial richtig beantworteten Übungsfragen (formative assessment score: „FA-Score“). Er enthielt auch die Rate aller richtig beantworteten Fragen auf AMBOSS® („Fragenerfolgsrate“). Zusätzlich wurden die Anzahl der gelesenen Lernkarten und die Anzahl der Zugriffe auf die Lernkarten erfasst, sowohl für die ausgewählten Lernkarten des BL-Kurses als auch für alle anderen Lernkarten auf AMBOSS®. Zur Vervollständigung der aus dem AMBOSS® Datensatz gewonnenen Informationen wurden die UdS-Studierenden gebeten, Angaben zu ihren soziodemografischen Daten und ihrer Note im abgeschlossenen ersten Staatsexamen zu machen. Als Referenzkohorte dienten 10.393 anonymisierte AMBOSS® Nutzende von 35 verschiedenen deutschen Hochschulen. Die Daten der Referenzkohorte wurden zwischen dem 01.10.2020 und dem 28.02.21 erhoben. Nutzende wurden eingeschlossen, wenn sie sich im fünften Jahr ihres Medizinstudiums befanden, von ihrer Universität einen kostenlosen Zugang zu AMBOSS® erhalten hatten und im entsprechenden Zeitraum mindestens eine OLA auf AMBOSS® aufgerufen hatten.

2.3. Datenanalyse

Die Analysen wurden mit Jamovi (Version 1.6.23.0) durchgeführt. Die deskriptiven Analysen umfassten Mittelwert, Median und Standardabweichung. Um den Zusammenhang zwischen Lernkartennutzung, FA-Leistungen, Staatsexamensnoten und Prüfungsleistungen zu untersuchen, wurde eine Korrelationsanalyse für beide Semesterkohorten getrennt durchgeführt. Die Unterschiede in den Daten zwischen der Sommer- und Wintersemesterkohorte und zwischen den UdS-Studierenden und der Referenzkohorte wurden mit dem Mann-Whitney-U-Test (U) berechnet. Alle analysierten Daten waren nicht-normalverteilt (Shapiro-Wilk-Test). Für alle Analysen wurde ein zweiseitiges Alpha-Signifikanzniveau von 0,05 verwendet. Die Power-Analyse wurde für einen zweiseitigen t-Test vor der Datenerhebung mit G*power und jpower (Jamovi) durchgeführt. Die Effektgrößen (Korrelationskoeffizienten) wurden mit Spearman’s rho (ρ) für nicht-normalverteilte Daten ausgewertet (ρ<0,3: kleiner Effekt; ρ=0,3-0,5; mäßiger Effekt, ρ>0,5; großer Effekt). Die Korrelationskoeffizienten wurden ebenfalls auf der Grundlage dieser Effektstärken interpretiert, um die Lesbarkeit zu erhalten [27]. Als Richtwerte für die Effektstärken wurden die von Cohen vorgeschlagenen Werte verwendet [28], [29]. Für die Staatsexamina wurde das deutsche Notensystem (1=A bis 6=F) verwendet.


3. Ergebnisse

3.1. Soziodemografische Daten

Das Durchschnittsalter der Teilnehmende betrug im Wintersemester 26,3 (SD: 4,61) Jahre und im Sommersemester 24,2 (SD: 2,35) Jahre. Von den Teilnehmenden des Wintersemesters waren 52 (60,5%) weiblich und 34 (39,5%) männlich. Im Sommersemester war die Verteilung 63 (58,3%) bzw. 45 (41,7%). Eine Person des Sommersemesters machte keine Angaben zum Geschlecht.

3.2. Digitales Lernverhalten

Daten zum digitalen Lernverhalten lagen für 98 (90%) Studierende im Sommersemester und 73 (85%) Studierende im Wintersemester vor. Es gab keinen signifikanten Unterschied zwischen der mittleren Anzahl der gelesenen ausgewählten Lernkarten zwischen den Studierenden des Sommer- und Wintersemesters (31±4,7 vs. 30±5,0; U=3046, p=0,092). Gleichzeitig wurden die 34 ausgewählten Lernkarten von den Sommersemester-Studierenden signifikant häufiger aufgerufen als von den Wintersemester-Studierenden (185±143 vs. 131±71,7; U=2726, p=0,008). Sowohl im Sommersemester (ρ=0,525, p<0,001, siehe Tabelle 1 [Tab. 1]) als auch im Wintersemester (ρ=0,632, p<0,001, siehe Tabelle 2 [Tab. 2]) bestand ein starker Zusammenhang zwischen der Anzahl der gelesenen ausgewählten Lernkarten und der Häufigkeit der Zugriffe auf die ausgewählten Lernkarten. Bezogen auf alle verfügbaren Lernkarten auf AMBOSS® lasen die Studierenden des Sommersemesters eine signifikant höhere Anzahl von Lernkarten als die Studierenden des Wintersemesters (665±348 vs. 313±240; U=1561; p=0,001). Die Studierenden der Referenzkohorte, die nicht am BL-Curriculum teilgenommen hatten, lasen signifikant weniger der ausgewählten Lernkarten, im Durchschnitt nur 10 der 34 Karten (SD: 8,28; U= 48200, p<0,001). Im Durchschnitt griff die Referenzkohorte auch signifikant seltener auf die ausgewählten Lernkarten zu als die UdS-Kohorte (38±54,2 vs. 162±120; U=157892; p=0,001).

3.3. Digitales Lernverhalten und formatives Assessment

Schwache und moderate Korrelationen wurden zwischen der Anzahl der gelesenen ausgewählten Lernkarten und dem FA-Score gefunden (Wintersemester: ρ=0,331, p=0,005; Sommersemester: ρ=0,217, p=0,034, siehe Tabelle 1 [Tab. 1] und Tabelle 2 [Tab. 2]). Zwischen der Anzahl der Zugriffe auf ausgewählte Lernkarten und dem FA-Score wurde in beiden Semestern ein schwacher Zusammenhang gefunden (Wintersemester: ρ=0,275, p=0,02; Sommersemester: ρ=0,281, p=0,005, siehe Tabelle 1 [Tab. 1] und Tabelle 2 [Tab. 2]).

3.4. Formatives Assessment

Die Nutzerdaten für die UdS-MC-Fragen-Sitzungen lagen für 106 (97%) Studierende im Sommersemester und 80 (93%) Studierende im Wintersemester vor. Im Durchschnitt beantworteten die UdS-Studierenden im Sommersemester 92% (166, SD: 33,6) und im Wintersemester 96% (172, SD: 23,1) der 180 ausgewählten MC-Fragen für den BL-Kurs. Der durchschnittliche FA-Score lag bei den Sommersemester-Studierenden bei 0,860 (SD: 0,0841) und damit signifikant höher als bei den Wintersemester-Studierenden (0,789, SD: 0,112, U=2452, p=<0,001). Insgesamt beantworteten die Sommersemester-Studierenden signifikant mehr Fragen auf AMBOSS® als die Wintersemester-Studierenden (6496±4574 vs. 1276±1977; U=856, p<0,001).

In beiden UdS-Semesterkohorten korrelierte die Fragenerfolgsrate auf AMBOSS® positiv mit den FA-Scores. Diese Korrelation war stark für die Sommersemesterkohorte (ρ=0,789, p<0,001, siehe Tabelle 1 [Tab. 1]) und moderat für die Wintersemesterkohorte (ρ=0,419, p<0,001, siehe Tabelle 2 [Tab. 2]).

3.5. Formative Bewertung und Prüfungsleistungen

85 (99%) Studierende des Wintersemesters und 107 (98%) Studierende des Sommersemesters nahmen an der AM-Abschlussprüfung teil. Es gab eine starke Korrelation zwischen den FA-Scores und den Ergebnissen der AM-Abschlussprüfung in der Sommersemesterkohorte (ρ=0,505, p<0,001, siehe Tabelle 1 [Tab. 1]) und eine moderate Korrelation in der Wintersemesterkohorte (ρ=0,381, p<0,001, siehe Tabelle 2 [Tab. 2]). Entsprechend wurden sowohl in der Sommersemesterkohorte (ρ=0,332, p<0,001, siehe Tabelle 1 [Tab. 1]) als auch in der Wintersemesterkohorte (ρ=0,414, p<0,001, siehe Tabelle 2 [Tab. 2]) mäßige Korrelationen zwischen den Noten im ersten Staatsexamen und den FA-Scores festgestellt.

Es wurde eine starke Korrelation zwischen der Fragenerfolgsrate und den Prüfungsergebnissen der UdS-Studierenden im Sommersemester festgestellt (ρ=0,568, p<0,001). Für die Wintersemesterkohorte wurde hierfür kein signifikanter Zusammenhang festgestellt.


4. Diskussion

4.1. Zusammenfassung

In dieser Studie werden die Zusammenhänge zwischen der Nutzung von OLA durch Studierende, den FA-Scores und den Prüfungsleistungen in einem AM-Curriculum untersucht. Die Ergebnisse zeigen, dass die Einbettung von Online-Lerninhalten in einen BL-Curriculum deren Nutzung erhöht. Die Intensität der Nutzung digitaler AM-Inhalte steht im Zusammenhang mit den Ergebnissen in konstruktiv ausgerichteten FA-Aufgaben. Die FA-Scores scheinen mit der Prüfungsleistung zu korrelieren.

4.2. Vergleich von Sommer- und Wintersemesterkohorte

Die Ergebnisse zeigen deutliche Unterschiede im Online-Lernverhalten zwischen der Sommer- und der Wintersemesterkohorte. Die Studierenden der UdS bereiten sich in der Regel im Sommersemester auf die Staatsexamina vor. Dies könnte die stärkere Nutzung von OLA und die besseren Leistungen in den FA-Aufgaben im Sommersemester erklären. Aufgrund der Verwendung von MC-Fragen als Instrument zur Vorbereitung auf das Staatsexamen waren die Studierenden des Sommersemesters möglicherweise stärker mit FA als OLA vertraut. Dies könnte die Tatsache erklären, dass eine starke Korrelation zwischen der Fragenerfolgsrate auf AMBOSS® und den Prüfungsergebnissen für die Sommersemester-, nicht aber für die Wintersemesterkohorte festgestellt wurde. Die Ergebnisse könnten darauf hindeuten, dass FA besonders effektiv für die Leistungseinschätzung ist, wenn es häufig und intensiv genutzt wird. Daneben scheinen die Lernmotivation und die Akzeptanz von OLA und FA höher zu sein, wenn sie auf die Inhalte des Staatsexamens abgestimmt sind, insbesondere im Semester vor dem Staatsexamen.

4.3. Digitales Lernen und digitales formatives Assessment

Die Ergebnisse zeigen, dass es möglich ist, das Online-Lernen der Studierenden in der Allgemeinmedizin zu fördern, indem OLA vorausgewählt und dann gezielt in ein Curriculum integriert werden. In der UdS-Kohorte wurde im Vergleich zur bundesweiten Referenzkohorte eine höhere Anzahl ausgewählter Lernkarten gelesen. Auf diese Lernkarten wurde zudem häufiger zugegriffen, was darauf hindeutet, dass die Integration von OLA in den Kurs zu einer stärkeren Nutzung der AM-Lernkarten führte. Die starke Korrelation zwischen der Anzahl der insgesamt gelesenen ausgewählten Lernkarten und der Häufigkeit der Zugriffe könnte darauf hindeuten, dass Studierende, die mehr Lernkarten für den BL-Kurs gelesen haben, diese auch häufiger gelesen haben. Dies könnte wiederum bedeuten, dass die Integration von OLA in einen Lehrplan einen Nutzungsanreiz für die Studierenden darstellt.

Ein interessantes Ergebnis dieser Studie ist, dass die FA-Scores zum Monitoring von studentischer Leistung während eines AM-Kurses verwendet werden könnten, da sie mit den Ergebnissen der AM-Prüfung und mäßig mit den Ergebnissen des ersten Staatsexamens korrelieren. Dies könnte den Lehrenden in der medizinischen Ausbildung helfen, schwächere Lernende in einem Kurs schnell zu erkennen und zu unterstützen, noch bevor die summative Bewertung stattfindet. In Zukunft könnten diese Ergebnisse dazu beitragen, den Fokus auf die summative Bewertung als einzigen Leistungsnachweis in der allgemeinmedizinischen Ausbildung zu verringern.

4.4. Auswirkungen auf die Praxis

Die Literatur zeigt eine umfangreiche Nutzung von OLA für selbstgesteuertes Lernen und eine große Beliebtheit von FA als Lernkontrolle unter Medizinstudierenden [6], [30]. Unsere Studie ergänzt frühere Forschung in anderen Ländern sowie für andere medizinische Fächer, die positive Korrelationen zwischen den Ergebnissen von Studierenden in formativem Assessment und Prüfungen beschreibt [16], [31], [32], [33]. Da Studierende dazu neigen, Lernoberflächen zu wählen, mit denen sie vertraut sind, kann die Integration etablierter OLA in die Lehrpläne dazu beitragen, das Online-Lernen zu unterstützen [34].

Bislang wurden Online-Lerninhalte und Online-FA-Übungen meist speziell für hochschulspezifische BL-Kurse entwickelt [35], [36], [37], [38]. Wie Prober et al. 2013 feststellten, kann es bei den Studierenden zu Frustration und Stress führen, wenn die Lehrpläne nicht die Inhalte der standardisierten nationalen Prüfungen widerspiegeln [39]. Dies könnte ein Grund dafür sein, dass Studierende teilweise externe Lernmaterialien den fakultätsspezifischen Kursinhalten vorziehen [39]. Die Verwendung eines bestehenden Online-Lernprogramms, das an die nationalen Prüfungen angepasst und bei den Studierenden bereits gut bekannt ist, könnte den Lehrenden Zeit und Personalressourcen sparen. Im Gegensatz zu fakultätsspezifischen formativen Bewertungssystemen ist bei der Verwendung einer bestehenden Lernplattform nur wenig zusätzlicher Programmier- und Gestaltungsaufwand erforderlich. Dies ist besonders wichtig für ein Fach wie AM, in dem die Lehrkräfte oft gleichzeitig als Ärzt*innen in Praxen tätig sind und die Universitätsinstitute eher klein sind. Auf der Grundlage der vorhandenen Literatur und unserer Ergebnisse kann es sinnvoll sein, OLA von Drittanbietern, einschließlich FA, gezielt in BL-Kurse zu integrieren, um die Wirksamkeit des digitalen Lernens zu erhöhen. Wie das Beispiel des AM-BL-Kurses an der UdS zeigt, können sie eine nützliche Ergänzung zu fakultätsspezifischen Online- oder Präsenzinhalten sein. Natürlich dienen die Curricula der medizinischen Fakultäten in erster Linie der Ausbildung guter Ärzt*innen und nicht nur der Vorbereitung auf die Staatsexamina. Nichtsdestotrotz kann eine konstruktive Abstimmung von Kursinhalten und staatlichen Prüfungsanforderungen die Motivation der Lernenden und den Lernerfolg fördern („assessment drives learning“). Dies gilt umso mehr, als dass die nationalen Staatsexamina oft der wichtigste gemeinsame Nenner zwischen den verschiedenen medizinischen Fakultäten sind [39].

Die Verwendung von MC-Fragen für das FA wird durch die Eindimensionalität dieses Formates begrenzt. MC-Fragen können einen Lernenden in die Lage versetzen, eine Frage korrekt zu beantworten, indem er oder sie die richtige Antwort lediglich erkennt („cueing“) [40]. Aus diesem Grund wird an der UdS derzeit der Einsatz von Key-Feature-MC-Fragen zur Einschätzung des klinischen Denkens untersucht. Bei Key-Feature-Fragesitzungen ist ein Rücksprung zu vorherigen Fragen nicht möglich. Auf diese Weise können mehrstufige Entscheidungsprozesse simuliert werden, auch wenn in nachfolgenden Items zusätzliche Informationen gegeben werden [41]. Key-Feature-Fragen können auch das „cueing“ reduzieren [40]. Bisherige Forschung unterstützt die Verwendung von Key-Feature-Fragen zur Bewertung des klinischen Denkens [42]. Neben der Untersuchung weiterer Strategien zur Verbesserung des MC-Fragen-Formats sollten zukünftige Studien die in dieser Studie gefundenen Korrelationen für andere Formen der Bewertung, wie OSCEs, untersuchen.

Für Lehrende in der Allgemeinmedizin kann die Erfassung und Analyse von Daten zum Online-Lernverhalten der Studierenden im Sinne von „learning analytics“ eine kontinuierliche Leistungsverfolgung von sowohl einzelnen Studierenden als auch Kohorten ermöglichen, insbesondere in Zeiten des Distanzlernens [43], [44], [45]. Lockyer et al. (2017) stellten fest, dass digitale Tools, die die Sammlung und Analyse von Bewertungsdaten erleichtern, für die zukünftige kompetenzbasierte medizinische Ausbildung von entscheidender Bedeutung sein werden, zum Beispiel durch die Einspeisung in E-Portfolios [46]. E-Portfolios bieten eine Längsschnittbetrachtung des Lernens und ermöglichen es den Lehrkräften, den Lernerfolg der Studierenden bereits während des Kurses zu überwachen. Vor allem wenn finanzielle oder personelle Ressourcen fehlen, kann eine automatisierte Bewertung und Rückmeldung, z. B. durch „learning analytics“ und E-Portfolios, unterstützend wirken. In Zukunft könnten E-Portfolios, die FA enthalten, sogar eine Alternative zur summativen Bewertung darstellen [46], [47], [48], [49], [50], [51].

4.5. Limitationen

Aufgrund falscher E-Mail-Adressen konnten die AMBOSS® Nutzerdaten von vier Studierenden aus dem Wintersemester und einem Studierenden aus dem Sommersemester nicht mit den Einverständniserklärungen abgeglichen werden. Diese Daten wurden für die Analyse nicht berücksichtigt.

Obwohl für die Referenzkohorte nur Studierende im fünften Studienjahr berücksichtigt wurden, ist zu bedenken, dass sich die Curricula der verschiedenen deutschen medizinischen Fakultäten unterscheiden. Es bleibt unklar, in welchen Fächern die Studierenden der Referenzkohorte in ihrem fünften Studienjahr unterrichtet wurden und ob und inwieweit digitales Lernen hierbei integriert wurde.

Im Rahmen einer laufenden Zusammenarbeit mit dem IMPP basieren sowohl die FA-Aufgaben als auch die Allgemeinmedizinprüfung an der UdS auf Fragen des Staatsexamens. Es wurde sichergestellt, dass in den FA-Sitzungen keine allgemeinmedizinischen Prüfungsfragen verwendet wurden. Es ist jedoch offensichtlich, dass der Einsatz von MC-Fragen für FA begrenzt ist, da MC-Fragen nur das in einem Kurs erworbene Faktenwissen bewerten können. Der BL-Kurs an der UdS ist wie viele andere BL-Kurse darauf ausgelegt, nicht nur kognitive, sondern auch affektive Kompetenzen wie Empathie und Kommunikationsfähigkeit zu vermitteln, die in Simulationen vor Ort trainiert werden. Diese Fähigkeiten sind für das Fach AM besonders wichtig und können mit MC-Fragen nicht gut gemessen werden. In Zukunft sollten andere Bewertungsmethoden, z. B. OSCEs, für eine digitale Lernumgebung angepasst und in E-Portfolios für AM aufgenommen werden.


5. Schlussfolgerung

Diese Studie liefert einige Belege dafür, dass die Auswahl und Einbettung von OLA in eine digitale allgemeinmedizinische Lernumgebung deren Nutzen steigern kann. Digitales, selbstgesteuertes FA kann helfen, die Prüfungsleistungen der Studierenden einzuschätzen. „Learning analytics“ kann bezogen auf das Online-Lernverhalten der Studierenden den Lernerfolg in der Allgemeinmedizin fördern und gleichzeitig den Lehrenden helfen, das selbstgesteuerte Lernen der Studierenden anzuleiten und zu überwachen. Dies ist besonders in Zeiten des Online-Lernens und bei knappen Personalressourcen von Bedeutung. In Zukunft könnte „learning analytics“ ein nützlicher Bestandteil von E-Portfolios sein und sogar dazu beitragen, traditionelle Formen der summativen Bewertung zu ersetzen oder zu verändern.


Abkürzungen

  • BL: Blended Learning
  • FA: Formatives Assessment
  • FA Score: initiales Ergebnis der Übungsaufgaben (Formatives Assessment Score)
  • AM: Allgemeinmedizin
  • IMPP: Institut für medizinische und pharmazeutische Prüfungsfragen
  • MC-Fragen: Multiple-Choice-Fragen
  • OLA: Online-Lernaktivitäten
  • UdS: Universität des Saarlandes
  • SD: Standardabweichung (Standard deviation)
  • Vs.: Versus

Ethikvotum

Das Ethikvotum wurde vor Studienbeginn von der Ethikkommission der Ärztekammer des Saarlandes am 25.09.2020 erteilt (Bu234/20).


Interessenkonflikt

Die Autoren erklären, dass sie finanzielle und strukturelle Unterstützung durch AMBOSS®, die Medizinische Fakultät der Universität des Saarlandes und die Kassenärztliche Vereinigung Saarland erhalten haben. Das Zentrum Allgemeinmedizin Homburg hat Kooperationsvereinbarungen mit AMBOSS® und dem IMPP als externe Parteien. Keine externe Partei hatte Einfluss auf das Studiendesign, die Datenerhebung, die Analyse oder das Publikationsverfahren.


Literatur

1.
Thoma B, Turnquist A, Zaver F, Hall AK, Chan TM. Communication, learning and assessment: Exploring the dimensions of the digital learning environment. Med Teach. 2019;41(4):385-390. DOI: 10.1080/0142159X.2019.1567911 Externer Link
2.
Emanuel EJ. The Inevitable Reimagining of Medical Education. JAMA. 2020;323(12):1127-1128. DOI: 10.1001/jama.2020.1227 Externer Link
3.
Stojan J, Haas M, Thammasitboon S, Lander L, Evans S, Pawlik C, Pawilkowska T, Lew M, Khamees D, Peterson W, Hider A, Grafton-Clarke C, Uraiby H, Gordon M, Daniel M. Online learning developments in undergraduate medical education in response to the COVID-19 pandemic: A BEME systematic review: BEME Guide No. 69. Med Teach. 2022;44(2):109-129. DOI: 10.1080/0142159X.2021.1992373 Externer Link
4.
Rose S. Medical Student Education in the Time of COVID-19. JAMA. 2020;323(21):2131-2132. DOI: 10.1001/jama.2020.5227 Externer Link
5.
Ferrel MN, Ryan JJ. The Impact of COVID-19 on Medical Education. Cureus. 2020;12(3):e7492. DOI: 10.7759/cureus.7492 Externer Link
6.
Scott K, Morris A, Marais B. Medical student use of digital learning resources. Clin Teach. 2018;15(1):29-33. DOI: 10.1111/tct.12630 Externer Link
7.
Vallée A, Blacher J, Cariou A, Sorbets E. Blended learning compared to traditional learning in medical education: systematic review and meta-Analysis. J Med Internet Res. 2020;22(8):e16504. DOI: 10.2196/16504 Externer Link
8.
Liu Q, Peng W, Zhang F, Hu R, Li Y, Yan W. The Effectiveness of Blended Learning in Health Professions: Systematic Review and Meta-Analysis. J Med Internet Res. 2016;18(1):e2. DOI: 10.2196/jmir.4807 Externer Link
9.
O'Doherty D, Dromey M, Lougheed J, Hannigan A, Last J, McGrath D. Barriers and solutions to online learning in medical education - an integrative review. BMC Med Educ. 2018;18(1):130. DOI: 10.1186/s12909-018-1240-0 Externer Link
10.
Costello E, Corcoran M, Barnett J, Birkmeier M, Cohn R, Ekmekci O, Falk N, Harrod T, Herrmann D, Robinson S, Walker B. Information and Communication Technology to Facilitate Learning for Students in the Health Professions: Current Uses, Gaps and Future Directions. Online Learning. 2014;18(4):1-18. DOI: 10.24059/olj.v18i4.512 Externer Link
11.
Childs S, Blenkinsopp E, Hall A, Walton G. Effective e‐learning for health professionals and students—barriers and their solutions. A systematic review of the literature—findings from the HeXL project. Health Info Libr J. 2005;22:20-32. DOI: 10.1111/j.1470-3327.2005.00614.x Externer Link
12.
Regmi K, Jones L. A systematic review of the factors – enablers and barriers – affecting e-learning in health sciences education. BMC Med Educ. 2020;20(1):91. DOI: 10.1186/s12909-020-02007-6 Externer Link
13.
Chan AK, Botelho MG, Lam OL. Use of Learning Analytics Data in Health Care-Related Educational Disciplines: Systematic Review. J Med Internet Res. 2019;21(2):e11241. DOI: 10.2196/11241 Externer Link
14.
Saqr M. A literature review of empirical research on learning analytics in medical education. Int J Health Sci (Qassim). 2018;12(2):80-85.
15.
Konopasek L, Norcini J, Krupat E. Focusing on the formative: building an assessment system aimed at student growth and development. Acad Med. 2016;91(11):1492-1497. DOI: 10.1097/ACM.0000000000001171 Externer Link
16.
Velan GM, Jones P, McNeil HP, Kumar RK. Integrated online formative assessments in the biomedical sciences for medical students: benefits for learning. BMC Med Educ. 2008;8:52. DOI: 10.1186/1472-6920-8-52 Externer Link
17.
Evans DJ, Zeun P, Stanier RA. Motivating student learning using a formative assessment journey. J Anat. 2014;224(3):296-303. DOI: 10.1111/joa.12117 Externer Link
18.
Wynter L, Burgess A, Kalman E, Heron JE, Bleasel J. Medical students: what educational resources are they using? BMC Med Educ. 2019;19(1):36. DOI: 10.1186/s12909-019-1462-9 Externer Link
19.
Say R, Visentin D, Cummings E, Carr A, King C. Formative online multiple-choice tests in nurse education: An integrative review. Nurse Educ Pract. 2022;58:103262. DOI: 10.1016/j.nepr.2021.103262 Externer Link
20.
Larsen DP, Butler AC, Roediger 3rd HL. Repeated testing improves long-term retention relative to repeated study: a randomised controlled trial. Med Educ. 2009;43(12):1174-1181. DOI: 10.1111/j.1365-2923.2009.03518.x Externer Link
21.
Rohrer D, Taylor K, Sholar B. Tests enhance the transfer of learning. J Exp Psychol Learn Mem Cogn. 2010;36(1):233-239. DOI: 10.1037/a0017678 Externer Link
22.
Rushton A. Formative assessment: a key to deep learning? Med Teach. 2005;27(6):509-513. DOI: 10.1080/01421590500129159 Externer Link
23.
Shute VJ. Focus on Formative Feedback. Rev Educ Res. 2008;78(1):153-189. DOI: 10.3102/0034654307313795 Externer Link
24.
Amboss. Vorklinik & Physikum. Alle Inhalte in einem Programm. Berlin: Amboss; 2022. Zugänglich unter/available from: https://www.amboss.com/de/vorklinikstudium Externer Link
25.
Critchley LA, Kumta SM, Ware J, Wong JW. Web-based formative assessment case studies: role in a final year medicine two-week anaesthesia course. Anaesth Intensive Care. 2009;37(4):637-645. DOI: 10.1177/0310057X0903700408 Externer Link
26.
Lameris AL, Hoenderop JG, Bindels RJ, Eijsvogels TM. The impact of formative testing on study behaviour and study performance of (bio)medical students: a smartphone application intervention study. BMC Med Educ. 2015;15(1):72. DOI: 10.1186/s12909-015-0351-0 Externer Link
27.
Maher JM, Markey JC, Ebert-May D. The other half of the story: effect size analysis in quantitative research. CBE Life Sci Educ. 2013;12(3):345-351. DOI: 10.1187/cbe.13-04-0082 Externer Link
28.
Rea LM, Ñames, Parker RA, Allen R, editors. Designing and conducting survey research. Hoboken (NJ): John Wiley; 2016.
29.
Cohen J. Statistical power analysis for the behavioral sciences. Cambridge (MA): Academic Press; 1988.
30.
Khalil R, Mansour AE, Fadda WA, Almisnid K, Aldamegh M, Al-Nafeesah A, Alkhalifah A, Al-Wutayd O. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students' perspectives. BMC Med Educ. 2020;20(1):285. DOI: 10.1186/s12909-020-02208-z Externer Link
31.
Morrison C, Smith L, Ross L, Butler A, Smith C. Learning through Self-Assessment: Investigating the Relationship between Performance on the NBME® Clinical Science Mastery Series Self-Assessments and Clinical Science Subject Examinations. Med Sci Educ. 2016;26(4):665-672. DOI: 10.1007/s40670-016-0330-z Externer Link
32.
Cong X, Zhang Y, Xu H, Liu LM, Zheng M, Xiang RL, Wang JY, Jia S, Cai JY, Liu C, Wu LL. The effectiveness of formative assessment in pathophysiology education from students' perspective: a questionnaire study. Adv Physiol Educ. 2020;44(4):726-733. DOI: 10.1152/advan.00067.2020 Externer Link
33.
Baig M, Gazzaz ZJ, Farouq M. Blended Learning: The impact of blackboard formative assessment on the final marks and students' perception of its effectiveness. Pak J Med Sci. 2020;36(3):327-332. DOI: 10.12669/pjms.36.3.1925 Externer Link
34.
Bringman-Rodenbarger L, Hortsch M. How students choose E-learning resources: The importance of ease, familiarity, and convenience. FASEB Bioadv. 2020;2(5):286-295. DOI: 10.1096/fba.2019-00094 Externer Link
35.
Costich M, Finkel MA, Friedman S, Catallozzi M, Gordon RJ. Transition-to-residency: pilot innovative, online case-based curriculum for medical students preparing for pediatric internships. Med Educ Online. 2021;26(1):1892569. DOI: 10.1080/10872981.2021.1892569 Externer Link
36.
Roskvist R, Eggleton K, Goodyear-Smith F. Provision of e-learning programmes to replace undergraduate medical students’ clinical general practice attachments during COVID-19 stand-down. Educ Prim Care. 2020;31(4):247-254. DOI: 10.1080/14739879.2020.1772123 Externer Link
37.
Johnson C, Shen E, Winn K, Digiacobbe G, Akinola M. Neonatal Resuscitation: A Blended Learning Curriculum for Medical and Physician Assistant Students. MedEdPORTAL. 2020;16:10921. DOI: 10.15766/mep_2374-8265.10921 Externer Link
38.
Margolin EJ, Kurtzman JT, Gordon RJ, Anderson CB, Badalato GM. Efficacy of an Online Blended Learning Curriculum to Improve Medical Student Urologic Education. Med Sci Educ. 2021;31(6):2007-2015. DOI: 10.1007/s40670-021-01427-3 Externer Link
39.
Prober CG, Khan S. Medical education reimagined: a call to action. Acad Med. 2013;88(10):1407-1410. DOI: 10.1097/ACM.0b013e3182a368bd Externer Link
40.
Epstein RM. Assessment in Medical Education. N Engl J Med. 2007;356(4):387-396. DOI: 10.1056/NEJMra054784 Externer Link
41.
Kuhn S, Frankenhauser S, Tolks D. Digitale Lehr- und Lernangebote in der medizinischen Ausbildung: Schon am Ziel oder noch am Anfang? [Digital learning and teaching in medical education: Already there or still at the beginning?]. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2018;61(2):201-209. DOI: 10.1007/s00103-017-2673-z Externer Link
42.
Hrynchak P, Takahashi SG, Nayer M. Key-feature questions for assessment of clinical reasoning: a literature review. Med Educ. 2014;48(9):870-883. DOI: 10.1111/medu.12509 Externer Link
43.
Siemens G. Learning Analytics: The Emergence of a Discipline. Am Behav Sci. 2013;57(10):1380-1400. DOI: 10.1177/0002764213498851 Externer Link
44.
Gil P, da Cruz Martins S, Moro S, Costa J. A data-driven approach to predict first-year students' academic success in higher education institutions. Educ Inf Technol. 2021;26:2165-2190. DOI: 10.1007/s10639-020-10346-6 Externer Link
45.
Saqr M, Fors U, Tedre M. How learning analytics can early predict under-achieving students in a blended medical education course. Med Teach. 2017;39(7):757-667. DOI: 10.1080/0142159X.2017.1309376 Externer Link
46.
Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach. 2017;39(6):609-616. DOI: 10.1080/0142159X.2017.1315082 Externer Link
47.
Ellaway R, Masters K. AMEE Guide 32: e-Learning in medical education Part 1: Learning, teaching and assessment. Med Teach. 2008;30(5):455-473. DOI: 10.1080/01421590802108331 Externer Link
48.
Challis M. AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education. Med Teach. 1999;21(4):370-386. DOI: 10.1080/01421599979310 Externer Link
49.
Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790-801. DOI: 10.1080/01421590903139201 Externer Link
50.
Dannefer EF, Henson LC. The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine. Acad Med. 2007;82(5):493-502. DOI: 10.1097/ACM.0b013e31803ead30 Externer Link
51.
Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, Pippard MJ, Snadden D. Portfolio assessment in medical students' final examinations. Med Teach. 2001;23(4):357-366. DOI: 10.1080/01421590120063349 Externer Link