gms | German Medical Science

Lernziel: Künstliche Intelligenz (KI) wird in der Medizin z.B. in der Radiologie (KI in Radiologieinformationssystemen) oder Onkologie (z.B. intelligente Bilderkennung zur Hautkrebsdetektion) bereits vielfach eingesetzt. Sie ist somit aus dem medizinischen Alltag nicht mehr wegzudenken. Die angedeuteten Techniken des maschinellen Lernens lassen sich aber auch auf den Bereich der Qualitätssicherung von med. Prüfungen übertragen und dort insbesondere im Hinblick auf Verarbeitung natürlicher Sprache im Kontext der Klassifikation med. Prüfungsfragen anwenden.

Die Klassifikation von med. Prüfungsfragen nach spezifischen Kompetenz- und Lernzielkatalogen, z.B. nach dem Gegenstandskatalog des IMPP oder eigenen fakultätsspezifischen Katalogen, bildet eine wichtige Voraussetzung für Blueprints, welche Auskunft über die Verteilung und Gewichtung von Prüfungsinhalten geben. Des Weiteren spielt die Klassifikation von Prüfungsfragen auch eine wichtige Rolle, wenn es um (longitudinale) Analysen der inhaltlichen Ausrichtung von curricularen Lern- und Lehrplänen geht [1].

Wir werden uns in dem Workshop mit den Aspekten auseinandersetzen, welche inhaltliche und formale Parameter bei der Klassifikation von med. Prüfungsfragen relevant sind und welche Möglichkeiten sich eröffnen, wenn man med. Prüfungsfragen nicht mehr nur fachspezifisch, sondern vielfachklassifiziert. Anhand von konkreten Beispielen möchten wir Sie zu einem interdisziplinären Dialog einladen und mit Ihnen die Vorteile der Multi-Label Klassifikation [2] diskutieren. Dabei werden wir Ihnen auch unser autom. Klassifizierungssystem imppACT (IMPP automatic classification tool) vorstellen. Es ist als ein exploratives Tool aufzufassen und berücksichtigt den erwähnten Aspekt der Multi-Label Klassifikation von med. Prüfungsfragen. imppACT fungiert als ein Vorschlagssystem mit relationaler statistischer Klassengewichtung und unterstützt den Autoren bei der Klassifikation.

Des Weiteren ist uns folgendes Desiderat aufgefallen: Synoptische Vergleichsmöglichkeiten und somit Feedback über Unterschiede sowie Gemeinsamkeiten zwischen fakultären curricularen Ausrichtungen, und somit konkreten inhaltlichen Prüfungsfragen, Prüfungsverläufen und -sequenzen, und dem IMPP Blueprint, stehen den med. Fakultäten derzeit noch nicht zur Verfügung. Wir greifen dieses Desiderat auf, indem wir mit imppACT eine einfache Möglichkeit anbieten Fragen bezüglich weiterer Kataloge zu klassifizieren. Darauf aufbauend wird es in Zukunft möglich sein, z.B. Äquivalenzabgleiche zwischen IMPP und den Fakultäten durchzuführen und somit diese Feedbacks, auch longitudinal, für Fakultäten sowie Studierenden zu generieren.

Ablauf der Veranstaltung mit Zeitplan inkl. eingesetzter didaktischer Methoden:

In unserem Workshop möchten wir Ihnen Einblicke geben, wie KI im Bereich der medizinischen Prüfungsfragenklassierung und allgemein der Prüfungserstellung eingesetzt werden kann.

Interdisziplinäre Diskussion:

• Welche Aspekte sind formal und inhaltlich bei der Klassifikation von med. Prüfungsfragen relevant?
• Welche Vorteile ergeben sich, wenn wir Multi-Label-Klassifikation zulassen?

Wir werden Ihnen imppACT vorstellen, Ihnen die Vorteile erläutern und möchten Sie dazu einladen, auf der Basis von praktischen Übungen in Kleingruppen die Funktionalitäten von imppACT selbst auszuprobieren. Wir werden Ihnen anhand von Prüfungsfragen aufzeigen, wie eine autom. Klassifizierung produktiv und effizient funktioniert.

In einer Abschlussrunde werden wir die Ergebnisse des Workshops zusammenfassen und freuen uns auf Ihre Kritik und Ihr Feedback im Hinblick auf den Klassifikator. Des Weiteren stehen wir Ihnen bei technischen und inhaltlichen Fragen zur Verfügung.

Zielgruppe: Lehrende und Studierende, die sich für die (automatische) Klassifizierung medizinischer Prüfungsfragen interessieren.

Vorbereitung: Bitte bringen Sie Ihren Laptop oder Tablet und wenn möglich Prüfungsfragen mit. Beides ist für die Teilnahme aber nicht zwingend notwendig.