gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Einsatz eines fallbasierten Computerprüfungsinstruments in der klinischen Lehre : Akzeptanz der Studierenden

Use of a case-based computerized assessment instrument in clinical teaching: acceptance by students

Projekt Humanmedizin

  • author Veronika Kopp - Klinikum der Universität München, Medizinische Klinik - Innenstadt, München, Deutschland
  • author Sibyl Herrmann - Klinikum der Universität München, Medizinische Klinik - Innenstadt, München, Deutschland
  • author Tim Müller - Klinikum der Universität München, Medizinische Klinik - Innenstadt, München, Deutschland
  • author Petra Vogel - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland
  • author Hubert Liebhardt - Studiendekanat der medizinischen Fakultät, Universität Ulm, Deutschland
  • corresponding author Martin R. Fischer - Klinikum der Universität München, Medizinische Klinik - Innenstadt, München, Deutschland

GMS Z Med Ausbild 2005;22(1):Doc11

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2005-22/zma000011.shtml

Received: January 8, 2004
Published: January 28, 2005

© 2005 Kopp et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

In der vorliegenden Studie wurde die Akzeptanz des fallbasierten Prüfens am Computer erhoben. 32 Studierende bearbeiteten zwei computerbasierte Prüfungsfälle und beantworteten die darin gestellten Fragen. Dabei wurde das Antwortformat dieser Fragen variiert: eine Bedingung bestand aus Multiple-Choice (MC) Fragen, die andere aus Freitext-Fragen. Im Anschluss daran hatten die Studierenden einen Fragebogen zu beantworten. Es zeigte sich, dass die Studierenden fallbasierten Prüfungen am Computer nicht ablehnend gegenüberstehen. Auch das Prüfungsinstrument, eine Modifikation des computerbasierten Lernsystems CASUS, wurde akzeptiert - in der Bedingung mit MC-Fragen in höherem Maße als mit Freitext-Fragen. Hohe Akzeptanz fand sich beim Lernen mit Computern. Bei der Einschätzung des Schwierigkeitsgrads der beiden Formate empfanden die Probanden das Bearbeiten von MC-Fragen als leichter als das Beantworten offener Fragen.

Insgesamt ermutigen die Akzeptanzdaten zu einem Einsatz von computerbasierten Fällen mit CASUS im Rahmen von fakultätsinternen Prüfungen.

Schlüsselwörter: Akzeptanz, fallbasiertes Prüfen, computerbasiertes Training (CBT), CASUS

Abstract

The goal of this study was to receive information about students' acceptance of computer- and case-based testing. 32 students had to work through two computer based cases and to answer the related questions. The questions were posed in two formats: in the multiple-choice question (MCQs) format and in the open-ended question (OEQs) format. Afterwards, the learners had to fill in a questionnaire concerning the acceptance of computer- and case-based testing, the testing tool and computer-based learning. The results showed a moderate acceptance in the first scale and a high acceptance in the scales concerning the testing tool and learning with computer. Additionally, the students had to assess the difficulty of the particular format. The students rated it easier to answer MCQs than OEQs.

In summary, the results are encouraging in respect to an implementation of computer-based cases within the scope of faculty internal tests.

Keywords: acceptance, case-based assessment, computer-based training, CASUS


Einleitung

Um die Qualität medizinischer Versorgung zu sichern, bedarf es der Ausbildung kompetenter Ärzte. Ärztliche Kompetenz besteht nicht nur aus umfangreichem medizinischen Fachwissen, sondern zudem aus klinischen und technischen Fertigkeiten und professionellen Einstellungen [1], [2]. Die Schulung dieser Fähigkeiten wird nun in einer längst fälligen Reformierung der medizinischen Ausbildung gefordert. Die bisherige medizinische Ausbildung zeigte Defizite insbesondere hinsichtlich des Praxisbezuges und der Vermittlung anwendbaren Wissens und machte in ihrer verschulten Form die Studierenden vornehmlich zu passiven Rezipienten [3]. Die am 1. Oktober 2003 in Kraft getretene neue Approbationsordnung für Ärzte [4] will dem durch die Forderung nach mehr Fall- und Problemorientierung in der medizinischen Ausbildung Abhilfe schaffen.

Neben der Orientierung an fall- und problemorientiertem Lernen wird auch in der Wissensüberprüfung Fallorientierung gefordert. Die Universitäten sind damit vor die Schwierigkeit gestellt, ein geeignetes Assessment zu entwickeln, das auf die vermittelten Inhalte abgestimmt ist und die Schlüsselkompetenzen valide misst [1]. Um den Anforderungen der neuen Approbationsordnung nach mehr Problem- und Fallorientierung gerecht zu werden, liegt es nahe, computerbasierte Prüfungsinstrumente zum Einsatz zu bringen, die durch den Einsatz von Medien Praxisnähe standardisiert simulieren können und zudem den Organisations- und Korrekturaufwand in Grenzen halten. In der vorliegenden Studie wurde daher das Lernsystem CASUS als Prüfungsinstrument eingesetzt. CASUS ist an mehreren medizinischen Fakultäten in die Ausbildung integriert [5] und erfreut sich hoher Akzeptanz [6], [7]. In der vorliegenden Studie kam es zum ersten Mal als Prüfungsinstrument zum Einsatz.


Theorie

Mit der Einführung neuer Technologien seit 1980 hat sich die Akzeptanzforschung zu einem wichtigen Forschungsfeld entwickelt, da nicht alles technisch Realisierbare auch einen objektiven Gewinn für den Menschen verheißt [8]. Im Zuge dessen entstanden verschiedenste Akzeptanzdefinitionen [9]. Lucke [9] definierte Akzeptanz für wissenschaftliche Zwecke als „die Chance, für bestimmte Menschen, Maßnahmen, Vorschläge und Entscheidungen bei einer identifizierbaren Personengruppe ausdrückliche oder stillschweigende Zustimmung zu finden und unter angebbaren Bedingungen aussichtsreich auf deren Einverständnis rechnen zu können". Im Zusammenhang mit der Einführung neuer Technologien wird von Akzeptanz oft auch als einer Art Sozialverträglichkeit [10] gesprochen i.S. der „Eigenschaft einer Innovation, bei ihrer Einführung positive Reaktionen der davon Betroffenen zu erreichen" [11]. Der Begriff Akzeptanz lässt sich auf folgenden Ebenen betrachten: auf Individualebene (zwischen Student und Computerprüfsystem), auf Organisationsebene (Implementierung an der Universität) und auf Gesellschaftsebene (bundesweiter Einsatz solcher Prüfungen). Diese Studie beschränkt sich auf die Individualebene. Zusätzlich unterscheidet Lucke [9] drei Komponenten, auf denen Akzeptanz basiert: auf Einstellungen und affektiven Reaktionen, auf Werten und Zielen und schließlich auf Handlungen. Betrachtet man Akzeptanz auf der Basis von Einstellungen und affektiven Reaktionen, werden Befunde zur Prüfungsangst und anderen in einer Prüfung wirksamen Emotionen wichtig. Diese haben gezeigt, dass sich Emotionen auf die Leistung auswirken, da sie die Form von kognitiven Prozessen wie Strategien der Informationsverarbeitung, des Langzeitgedächtnisses und des Arbeitsgedächtnisses sowie die Form von Motivation beeinflussen [12]. Eine grundlegende Ablehnung beim Einsatz neuer Technologien in medizinischen Prüfungen könnte sich somit negativ auf die Prüfungsergebnisse auswirken. Die handlungsorientierte Komponente der Akzeptanz drückt die Bereitschaft zur Anwendung aus [9]. In der vorliegenden Studie wird das Hauptaugenmerk auf die Einstellung gelegt, da bei einem Einsatz neuer Technologien in medizinische Prüfungen diese verpflichtend sind und somit eine Entscheidung zur Handlung nicht möglich wäre.

Bei der Einführung neuer Technologien beeinflussen nach Anstadt [13] sowohl technische als auch personale Determinanten die Akzeptanz. Eine der personalen Determinanten ist das Geschlecht, das in der vorliegenden Studie besondere Berücksichtigung fand.


Methoden

Untersuchungsteilnehmer und Ablauf

An der Studie nahmen 32 Studierende (17 Frauen und 15 Männer) teil, die kurz vor dem 2. Staatsexamen standen. Das Durchschnittsalter lag bei knapp 26 Jahren (zwischen 23 und 33 Jahren). Die Teilnahme war freiwillig und wurde mit einem Honorar von 30.- € vergütet. Die Untersuchung fand in München und in Ulm statt. Der Untersuchungszeitpunkt für München war Juli 2001 und März 2002, für Ulm März 2002.

In der Studie hatten sich die Studierenden mit zwei Prüfungsfällen im Rahmen des Computerlernprogramms CASUS auseinander zu setzen [14], wobei eine Gruppe Fragen im MC-Format erhielt und eine Gruppe Freitext-Fragen. Anschließend wurden die Prüflinge gebeten, einen Fragebogen mit 14 Items zur Akzeptanz zu beantworten.

Instrumente

Fragebogen

Für diese Untersuchung kam ein eigens für die Studie erstellter Fragebogen zum Einsatz, der nach Bearbeitung der beiden Fälle von den Studierenden auszufüllen war. Erfragt wurde die Akzeptanz auf der Einstellungsebene. Im Einzelnen waren das die Akzeptanz von Lernen mit Computern allgemein (z.B. „Ich kann mir vorstellen, künftig über Computer-Netze zu lernen"), die Akzeptanz von Prüfungen mit dem Computer (z.B. „Computer-Lernfälle sollten bei studienbegleitenden Prüfungen wie z.B. Klausuren eingesetzt werden") und die Akzeptanz des Prüfungsinstruments (z.B. „Die Bearbeitung der Fälle war abwechslungsreich"). Zudem wurden die Studierenden gebeten, die Schwierigkeit der Antwort-Formate einzuschätzen. Die Likert-Skala reichte von 1 bis 5, wobei 1 „trifft voll und ganz zu" und 5 „trifft überhaupt nicht zu" bedeuten.

Fallbasiertes Prüfungsinstrument CASUS

Untersuchungsgegenstand dieser Studie war das als Prüfungsinstrument eingesetzte, computergestützte Lernsystem CASUS, das bereits seit mehreren Jahren in die medizinische Ausbildung integriert ist. Dieses Lernsystem beinhaltet multimodale Lernfälle zu verschiedenen Krankheitsbildern und basiert auf der Didaktik des problemorientierten Lernens. Jeder Lernfall ist als realitätsnaher Patientenfall zu verstehen, anhand dessen der Lerner Diagnose- und Therapieschleifen durchläuft. Die Fälle bestehen aus multimodalen Elementen, Expertenkommentaren und interaktiven Elementen. Diese Elemente wurden genutzt, um verschiedene Antwortformate in den Prüfungsfällen zu realisieren. Die Studierenden arbeiteten in der Prüfung einen Fall durch und hatten entweder MC- oder Freitext-Fragen zu beantworten. Nach Beantwortung der Frage bekamen die Studierenden sofort Rückmeldung über die Korrektheit ihrer Antwort, die nicht mehr verändert werden konnte. So konnten alle Studierenden während der Fallbearbeitung immer wieder auf den aktuellen Wissensstand gebracht werden und aufeinander bezugnehmende Fragen gestellt werden.

Prüfungsfälle

Die in der Studie eingesetzten Fälle gehören dem Themengebiet der Hämatologie/Onkologie an. Bei Fall 1 handelte es sich in der Enddiagnose um einen Morbus Hodgkin (MH), bei Fall 2 um eine Polycythämia vera (PV). Der MH-Fall bestand aus 5 Kapiteln mit insgesamt 28 Bildschirmkarten, die neben Text mehrere Bilder und Grafiken enthielten. Die Studierenden mussten 12 Fragen mittels MC oder Freitext-Format beantworten. Der PV-Fall setzte sich aus 4 Kapiteln mit 21 Bildschirmkarten zusammen (ebenfalls Text, Bilder und Grafiken). Es mussten 11 Fragen in beiden Antwortformaten bearbeitet werden.

Antwortformat

MC-Format

Beim MC-Format wurden die Fragen jeweils so gestellt, dass es eine richtige Antwort gab (Typ A). Diese Antwort war aus fünf Antwortalternativen auszuwählen und anzukreuzen. Eine richtige Antwort erbrachte einen Punkt.

Freitext-Format

Im Freitext-Format waren die Fragen offen formuliert. Auf eine Frage gab es mehrere Antworten, die die Studierenden zu formulieren und in die dafür vorgesehenen freien Zeilen einzutragen hatten. Die Antworten der Studierenden wurden vom CASUS-System mittels fehlertoleranter Freitextanalyse - einem Vergleich der Antwort des Studenten mit der hinterlegten Expertenantwort - bewertet. Mit dieser Analyse konnten bereits ca. 50% der richtigen Antworten erkannt werden. Im Anschluss wurden die Antworten der Studierenden manuell von einem Experten bewertet.

Auswertung

Die Auswertungen wurden mit dem Statistikprogramm SPSS durchgeführt. Bei der Reliabilitätsanalyse der einzelnen Dimensionen wurde Cronbachs Alpha bestimmt. Die Mittelwertsunterschiede wurden mittels einseitiger ANOVA und t-Test für unabhängige Stichproben auf Signifikanz überprüft.


Ergebnisse

Überprüfung der Reliabilität

Für die Skala zur Erfassung der „Akzeptanz von Prüfungen mit Computern", die aus zwei Items bestand, ergab sich eine Reliabilität von α = .84 (nach Cronbach). Die Skala „Akzeptanz von Lernen mit Computern" wurde mit 4 Items erhoben und hat eine Reliabilität von α = .77. Zudem wurde die Skala „Akzeptanz des Prüfungsinstruments" erfasst. Diese Skala umfasste sechs Items. Es ergab sich eine Reliabilität von α = .71. Hinsichtlich der Einschätzung der „Schwierigkeit des Antwortformats" betrug die Reliabilität der beiden Items α = .79.

Akzeptanz

In der vorliegenden Studie ging es hauptsächlich um die Akzeptanz der Studierenden hinsichtlich des Einsatzes von Prüfungen am Computer und um die Akzeptanz des Prüfungsinstruments CASUS und die Akzeptanz des Lernens mit Computern allgemein. Im Folgenden werden die einzelnen Skalen genauer betrachtet (vgl. Tabelle 1 [Tab. 1]).

Akzeptanz von Lernen mit Computern

Allgemein war die Akzeptanz hinsichtlich des Lernens mit computerbasierten Lernprogrammen in der untersuchten Gruppe hoch. Der Mittelwert von allen Studierenden betrug 1.7 (SD = 0.7).

Akzeptanz von fallbasierten Prüfungen am Computer

In dieser Skala wurde gefragt, inwiefern die Studierenden dem Einsatz von fallbasierten Prüfungen am Computer zustimmen. In der Gesamtgruppe ergab sich ein Mittelwert von 2.8 (SD = 1.1). Betrachtet man die einzelnen Items genauer, zeigt sich folgendes Bild: bei der Fragestellung, ob Computer-Lernfälle bei studienbegleitenden Prüfungen wie z.B. bei Klausuren eingesetzt werden sollten, ergab sich ein Mittelwert von 2.6 (SD = 1.2). Die Häufigkeiten verteilen sich dabei wie in Abbildung 1 [Abb. 1] wiedergegeben. Die Hälfte der 32 befragten Studierenden stimmen dieser Aussage völlig oder mit leichten Einschränkungen zu. Acht Studierende sind unentschlossen, sechs Studierende stimmen dieser Aussage eher nicht und zwei gar nicht zu.

Bei der Frage nach dem Einsatz von Computer-Lernfällen im Staatsexamen war die Akzeptanz geringer. Der Mittelwert lag bei 3.0 (SD = 1.3). 11 Studierende waren dafür, Computer-Lernfälle auch im Staatsexamen einzusetzen. 11 Studierende waren unentschieden und die restlichen 10 Studierenden sprachen sich dagegen aus. Wenngleich die Akzeptanz im Vergleich zur Frage nach dem Einsatz in Klausuren geringer ist, entspricht der Mittelwert dem statistischen Mittel. Ein Drittel der Studierenden ist offensichtlich eindeutig gegen den Einsatz von Computer-Lernfällen in Staatsexamina.

Zusätzlich interessierte, inwieweit die Akzeptanz abhängig von den beiden Antwortformaten ist. Im MC-Format lag die Zustimmung im Mittel bei 2.6 (SD = 1.2). Im Freitext-Format stimmte der Mittelwert (M = 3.0; SD = 1.1) mit dem statistischen Mittel überein. Der Unterschied zwischen den Gruppen ist nicht signifikant (F(1,30) < 1.0; n.s.). Da die Stichprobe jedoch relativ klein ist, wurde zusätzlich die Effektstärke bestimmt [15]. Diese beträgt d = .34, was einem schwachen Effekt entspricht.

Akzeptanz des Prüfungsinstruments

Bei dieser Dimension interessierte die Frage, inwiefern die Studierenden die Art der Prüfung, die Bearbeitung von Fällen und die Orientierung an realen Problemsituationen, abwechslungsreich und anregend finden. Der Mittelwert lag bei 2.0, die Streuung war gering (SD = 0.6). Betrachtet man die einzelnen Gruppen getrennt nach der Art des Antwortformats zeigt sich Folgendes: In der MC-Gruppe ergab sich ein Mittelwert von 1.8 (SD = 0.6). Die Akzeptanz des Prüfungsinstruments war demnach unter MC-Bedingungen recht hoch. In der Freitext-Bedingung war die Akzeptanz etwas geringer (M = 2.2; SD = 0.5), lag aber immer noch über dem statistischen Mittel. Der Unterschied zwischen diesen beiden Gruppen ist nicht signifikant (F (1,30) = 4.8; n.s.), aber praktisch bedeutsam (d = .80).

Geschlechtsunterschiede

Signifikante Unterschiede zwischen Frauen und Männern lassen sich bei den einzelnen Skalen zur Akzeptanz nicht feststellen (Akzeptanz von fallbasierten Prüfungen am Computer: F(1,30) < 1; Akzeptanz von Lernen mit Computern: F(1,30) = 1.1; n.s.; Akzeptanz des Prüfungsinstruments: F(1,28) < 1). Lediglich beim Lernen mit Computern zeigt sich ein schwacher Effekt (d = .37): Männer lernen dem Befund zufolge etwas lieber mit Computern als Frauen.

Subjektive Einschätzung des Schwierigkeitsgrads

Neben den bereits beschriebenen Akzeptanzmaßen wurden zudem Fragen zu den eingesetzten Antwortformaten gestellt. Hier stand vor allem die Einschätzung des Schwierigkeitsgrads im Zentrum. Die Studierenden sollten einschätzen, wie schwer sie die Beantwortung der Fragen im jeweiligen Format empfanden. Die MC-Bedingung wurde von den Studierenden im Mittel mit 1.8 (SD = 0.6) eingeschätzt. Die Studierenden empfanden die Beantwortung der MC-Fragen als leicht. In der Freitext-Bedingung betrug der Mittelwert dieser Skala 3.6 (SD = 0.9). Die Studierenden empfanden das Bearbeiten der Fragen eher als schwer. Hier zeigte sich ein signifikanter Unterschied zwischen den beiden Gruppen (F(1,29) = 47.1; p < .01). Dieser Effekt hat auch praktische Relevanz (d = 2.48).

Objektive Einschätzung des Schwierigkeitsgrads

Ein Vergleich im Abschneiden der Studierenden in den einzelnen Fällen im jeweiligen Format ergab Folgendes:

Die Gruppe, die MC-Fragen zu beantworten hatte, erzielte im ersten Fall durchschnittlich 63.0% (SD = 21.6) und im zweiten Fall 74.5% (SD = 20.1) richtige Lösungen.

Die Studierenden der Freitext-Bedingung erreichten im ersten Fall im Schnitt 62.2% (SD = 15.5) und im zweiten 51.1% (SD = 18.5). Ein deutlicher Unterschied zwischen der Performanz der beiden Gruppen ist nur beim zweiten Fall festzustellen (t(27,8) = 3,33; p < .01).


Diskussion

Insgesamt zeigte sich, dass die Studierenden Lernen mit Computern und computerbasierte Lernfälle in hohem Maße akzeptieren. Dieser Befund geht einher mit Ergebnissen anderer Studien [16], in denen die hohe Beliebtheit auf Orts- und Zeitunabhängigkeit des Lernens, frei wählbare Lerneinheiten und ein individuelles Lerntempo zurückgeführt wurde [16]. Einschränkend muss gesagt werden, dass es in der vorliegenden Studie zu einer Positiv-Selektion gekommen sein kann, da sich die Studierenden freiwillig zur Teilnahme an der Untersuchung meldeten.

Die Durchführung von fallbasierten Prüfungen am Computer wird von den Studierenden in mittlerem Ausmaß akzeptiert, bei Klausuren etwas mehr als beim Staatsexamen. Dieser Befund darf insofern als positiv interpretiert werden, als diese Art der Prüfungsdurchführung gänzlich neu ist und eine völlige Ablehnung durchaus denkbar gewesen wäre. Die Akzeptanz fallbasierter Prüfungen am Computer wurde (trotz Freitext-Problem bei der Erkennung) nicht von den Antwortformaten beeinflusst.

Die Akzeptanz des Prüfungsinstruments war jedoch sehr wohl vom Antwortformat abhängig: Studierende des MC-Formats akzeptierten dieses Prüfungsinstrument eher als dies Studierende mit Freitext-Format getan haben. Dieser Befund ist insofern wichtig, als durch den Einsatz des MC-Formats die Akzeptanz erhöht werden kann. Mögliche Gründe können zum einen das Freitexterkennungssystem der Antworten sein, welches nicht immer alle richtigen Antworten auch als richtig erkennt. Zum anderen kann auch die Gewöhnung der Studenten an MC-Fragen durch die staatlichen Prüfungen eine Rolle gespielt haben. Dass der Mittelwert dennoch über dem statistischen Mittel liegt, deutet darauf hin, dass diese Prüfumgebung grundsätzlich als gut empfunden wurde.

In der Beurteilung der Schwierigkeit der Formate zeigte sich ein deutlicher Unterschied: Das Beantworten von MC-Fragen wurde im Vergleich zu offenen Fragen als einfacher eingeschätzt. Dieser Befund ist umso erstaunlicher als die Studierenden der MC-Bedingung nur in einem der beiden Fälle objektiv deutlich besser als die Freitext-Gruppe abschneiden; im anderen Fall schneiden beide Gruppen ähnlich gut ab. Kompetenzüberschätzung als Erklärung ist in diesem Fall unwahrscheinlich, da die Antworten sofort korrigiert wurden und das Ergebnis den Studierenden rückgemeldet wurde. Möglicherweise liegt eine Erklärung in der Art der Informationsverarbeitung. Die Beantwortung der Freitext-Fragen findet auf einem höheren kognitiven Niveau statt als bei MC-Fragen [17], [18], da die richtige Lösung aktiv generiert werden muss, während es bei der Beantwortung von MC-Fragen lediglich um das Erkennen der richtigen Lösung geht. Dieses Erkennen wurde den Ergebnissen zufolge als einfacher empfunden. Diese Empfindung kann aber auch daher rühren, dass die Studierenden durch die Gewöhnung an MC-Fragen, die ihnen in vielen Prüfungen begegnen, diese als leichter einschätzen. Denkbar ist auch, dass die Studierenden sich in ihrer Bewertung des Schwierigkeitsgrads hauptsächlich auf den letzten Fall bezogen; der vorherige Fall war mit seinem Ergebnis weniger im Gedächtnis präsent.

Zusammenfassend sind weitere Untersuchungen zu fallbasierten computergestützten Prüfungsverfahren erforderlich, die sich auf die Reliabilität und Validität im Bezug zu anderen Prüfungsformen konzentrieren sollten. Akzeptanzgesichtspunkte sollten dabei mit untersucht werden. Die Klärung der Frage nach einer Erhöhung der Akzeptanz bedeutet die Untersuchung weiterer damit in Zusammenhang stehender Variablen. Akzeptanzgesichtspunkte werden aber bei einer Einführung dieses Prüfungsinstrumentes im größeren Rahmen keinen wesentlichen Hinderungsgrund darstellen.


Literatur

1.
IAWF Institut für Aus-, Weiter- und Fortbildung, Medizinische Fakultät Bern. Kompetent prüfen. Bern/Wien: IAWF; 1999.
2.
Wozel G. Zur Einheit von Lehre, Lernen und Prüfung in der Medizin. In: Westhoff K, ed. 1. Symposium zu Prüfungen in der Medizin: Multiple Choice. Lengerich: Pabst Science Publisher; 1995. p. 15-20.
3.
Putz R, Christ F, Mandl H, Bruckmoser S, Fischer M, Peter K, Moore G. Das Münchner Modell des Medizinstudiums (München-Harvard Educational Alliance). Med Ausbild. 1999;16:30-37.
4.
Approbationsordnung für Ärzte (ÄappO) vom 27.06.2002. Bundesgesetzblatt Jahrgang 2002, Teil 1, Nr. 44.
5.
Gerike TG, Baehring TU, Hentschel B, Fischer A, Scherbaum WA. Model trial: use and evaluation of a problem-oriented learning program in internal medicine. Med Klin. 1999;94:76-81.
6.
Franke C, Holzum A, Böhner H, Baehring T, Ohmann C. Computer-based case-study teaching in surgery. Chirurg. 2002;73:487-491.
7.
Simonsohn AB, Fischer M. Fallbasiertes computergestütztes Lernen in der Inneren Medizin an der Universität München: Erfolgreiche Integration oder überflüssiger Zusatz?. In: Puppe F, Albert J, Bernauer J, Fischer M, Klar R, Leven J, eds. Rechnergestützte Lehr- und Lernsysteme in der Medizin. Proceedings zum 7. Workshop der GMDS AG Computergestützte Lehr- und Lernsysteme in der Medizin, Universität Würzburg, 3.-4. April 2003. Aachen: Shaker; 2003.
8.
Kollmann T. Die Akzeptanz technologischer Innovationen. Trier: Eigenverlag des Lehrstuhls für Marketing an der Universität Trier; 1996.
9.
Lucke D. Akzeptanz. Legitimität in der "Abstimmungsgesellschaft". Opladen: Leske + Budrich; 1995.
10.
Lucke D. Riskante Annahmen - Angenommene Risisken. In: Lucke D, ed. Annahme verweigert. Beiträge zur soziologischen Akzeptanzforschung. Opladen: Leske + Budrich; 1998: 15-36.
11.
Endruweit G, Trommsdorf G, eds. Wörterbuch der Soziologie. Stuttgart, München: dtv; 1989.
12.
Molfenter S. Prüfungsemotionen bei Studierenden [Dissertation]. Regensburg: Universität Regensburg; 1999.
13.
Anstadt U. Determinanten der individuellen Akzeptanz bei Einführung neuer Technologien. Frankfurt am Main: Peter Lang; 1994.
14.
Fischer MR. CASUS - An authoring and learning tool supporting diagnostic reasoning. Z Hochschuldidaktik. 2000;1:87-98.
15.
Bortz J, Döring N. Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin: Springer; 2002.
16.
Cognos. Akzeptanz von E-Learning. Frankfurt: Cognos GmbH; 2002. Available from: http://support.cognos1.de/dach/schulung/studie_ueberblick.pdf [cited 09.09 2002]
17.
Elstein AE. Beyond multiple choice questions and essays: The need for a new way to assess clinical competence. Acad Med. 1993;68:244-48.
18.
Newbly DI, Baxter A, Elsmilie RG. A comparison of multiple-choice tests and free-response tests in examinations of clinical competence. Med Educ. 1979;13:263-268.