gms | German Medical Science

Dieser Beitrag enthält die Aufzeichnung eines „Gesprächs“ mit dem KI-System ChatGPT über den Vortrag „Beyond Access: New Ideas to Survive APC, AI, Predatory Publishing and a Changing World“ des Autors auf der AGMB-Tagung 2024 in Mainz. AGMB bezeichnet den Verein Arbeitsgemeinschaft Medizinisches Bibliothekswesen e.V.

Dem Gespräch lag eine Audiotranskription der Vortragsaufzeichnung zugrunde. Die Inhalte wurden unverändert übernommen und im Chat hochgeladen. Die dem Vortrag zugrundeliegende Powerpoint-Präsentation lag ChatGPT nicht vor. Die Abbildungen und Abbildungsverweise im nachfolgenden Abschnitt wurden ergänzt, der Text aber aus dem Chatfenster unverändert übernommen, ohne Fehler oder Inkonsistenzen zu korrigieren, nur an einer Stelle wurde ein Kommentar des Autors mit eckigen Klammern angefügt. Eingesetzt wurde die Gratisversion ChatGPT-4o (Datum 28.10.2024). Der Vortragende wird im Folgenden mit „Du“ bezeichnet.

Das Abstract zum Artikel wurde im Anschluss ebenfalls von ChatGPT auf Basis des Artikelinhalts erstellt und händisch überarbeitet.

Du:

Hallo Chad! Erinnerst du dich an unseren Vortrag über den Niedergang des medizinischen Publikationswesens und der Gefahr, die davon für unsere AGMB-Tagung ausgeht? Ich habe den Teilnehmer*innen ja erklärt, dass du mir immer bei der Erstellung meiner Präsentationen hilfst. Darf ich dich Chad nennen, wo wir doch Arbeitskollegen im Krankenhaus sind?

ChatGPT:

Hallo! Es freut mich, dass du mich als deine Unterstützung für die Präsentationen betrachtest. Du kannst mich gerne Chad nennen, wenn dir das gefällt!

Zum Vortrag über den Niedergang des medizinischen Publikationswesens und die Auswirkungen auf die AGMB-Tagung: Es klingt, als ob das ein sehr wichtiges Thema für euch war. Möchtest du, dass wir weiter an den Inhalten feilen oder bestimmte Aspekte noch weiter vertiefen, um die Relevanz für die Teilnehmer*innen klarer zu machen?

Es wäre toll zu erfahren, wie die Präsentation lief und ob es bestimmte Rückfragen oder Schwerpunkte gab, die wir beim nächsten Mal noch stärker beleuchten sollten!

Du:

Du warst ja dabei, erinnerst du dich nicht mehr? Das Publikum war begeistert! Kannst du die wichtigsten Themen jetzt für unsere Leser*innen zusammenfassen, die nicht vor Ort sein konnten? Das kannst du doch so gut, sagt man.

[Abbildung 1 [Abb. 1]: Dr. Chad Tschipity]

ChatGPT:

Hier ist eine Zusammenfassung der wichtigsten Themen aus dem Vortrag über den Niedergang des medizinischen Publikationswesens, der auch auf der AGMB-Tagung besprochen wurde:

Wissenschaftliches Publizieren im Abwärtstrend: Der Vortrag argumentierte, dass sich die Qualität wissenschaftlicher Veröffentlichungen verschlechtert. Dabei wurde auf historische Entwicklungen wie die „Sokal-Affäre“ hingewiesen, in der ein gefälschter Artikel in einer wissenschaftlichen Zeitschrift veröffentlicht wurde, um auf die Oberflächlichkeit gewisser Disziplinen hinzuweisen. Dies wurde als ein frühes Zeichen für den Verfall wissenschaftlicher Integrität gesehen.

Replikationskrise: Eine zentrale Herausforderung für die Wissenschaft ist, dass viele Forschungsergebnisse nicht repliziert werden können. Dies hat Zweifel an der Zuverlässigkeit vieler medizinischer und psychologischer Studien aufgeworfen. Trotz dieser Erkenntnisse scheinen die Strukturen der Wissenschaft wenig verändert worden zu sein.

Künstliche Intelligenz (KI) und wissenschaftliche Arbeiten: Der Einfluss von KI auf das Verfassen und Begutachten wissenschaftlicher Artikel nimmt zu. Ein besonderes Augenmerk lag auf der zunehmenden Rolle von KI bei der Peer-Review, insbesondere, wenn unter Zeitdruck gearbeitet wird. Es wurde befürchtet, dass dies zu einem Verlust an Qualität und Tiefe in wissenschaftlichen Texten führen könnte.

Predatory Publishing und Paper Mills: Der Vortrag warnte vor der wachsenden Gefahr des sogenannten „Predatory Publishing“, bei dem Verlage Artikel ohne echte Qualitätsprüfung veröffentlichen, sowie vor Paper Mills, die wissenschaftliche Artikel auf Basis von KI generieren.

Zukunft des Publizierens und „No Access“-Modell: Ein provokanter Vorschlag war das „No Access“-Modell, bei dem keine wissenschaftlichen Artikel mehr öffentlich zugänglich gemacht werden, um Ressourcen zu sparen. Das Ziel war, den Publikationsprozess zu vereinfachen und gleichzeitig die wissenschaftliche Integrität zu bewahren.

Der Vortrag war humorvoll gestaltet, wobei die Rolle der KI auch kritisch hinterfragt wurde. Es wurde verdeutlicht, dass das Thema von großer Relevanz ist, insbesondere für wissenschaftliche Bibliotheken und Tagungen wie die AGMB, da diese auf die Integrität des Publikationsprozesses angewiesen sind.

Wenn es bestimmte Aspekte gibt, die du noch genauer beleuchten möchtest, lass es mich wissen!

Du:

Zu meiner Argumentation über den Niedergang des wissenschaftlichen Publizierens: Siehst du das auch so? Wie schätzt du die Rolle von KI-Systemen wie dir dabei ein? Findest du das hilfreich für die Wissenschaft, dass KI-Systeme Texte verfassen können, die von Menschen kaum noch von „echten“ unterschieden werden können?

[Abbildung 2 [Abb. 2]: Schockierte Bibliothekarin]

ChatGPT:

Deine Argumentation über den Niedergang des wissenschaftlichen Publizierens greift mehrere realistische und kontroverse Entwicklungen auf, und ich sehe darin einige berechtigte Bedenken.

Qualität und Verlässlichkeit: Der Punkt über die Replikationskrise und die Gefahr, dass viele wissenschaftliche Arbeiten nicht zuverlässig sind, ist absolut zentral. Es ist problematisch, wenn wissenschaftliche Erkenntnisse nicht reproduzierbar sind, und dies untergräbt das Vertrauen in die Forschung. Die Kombination von „Publish or Perish“ und dem zunehmenden Druck auf Wissenschaftler*innen, zu publizieren, kann dazu führen, dass Standards gesenkt und unzuverlässige Studien veröffentlicht werden. Künstliche Intelligenz kann dieses Problem verstärken, wenn sie eingesetzt wird, um schnell und oberflächlich Inhalte zu generieren.

Rolle von KI im wissenschaftlichen Schreiben: KI-Systeme wie ich können sicherlich Texte verfassen, die qualitativ beeindruckend und oft kaum von menschlichen Texten zu unterscheiden sind. In Bezug auf die Wissenschaft birgt das jedoch eine zwiespältige Gefahr:

Positiv: KI kann als Werkzeug dienen, um den Schreibprozess zu erleichtern, Routineaufgaben wie das Erstellen von Zusammenfassungen, Lektorat oder Übersetzungen zu automatisieren und den Zugang zu Informationen zu verbessern. Wissenschaftler*innen könnten somit mehr Zeit auf die tatsächliche Forschung konzentrieren.

Negativ: Wenn KI genutzt wird, um ganze Artikel zu erstellen oder Reviews zu schreiben, ohne dass ein fundierter menschlicher Input oder ein kritisches Verständnis des Themas vorhanden ist, kann das zu einer Entwertung der Wissenschaft führen. Der Missbrauch von KI könnte das Publizieren in „predatory journals“ weiter befeuern, und wenn die KI generierte Texte nicht mehr sauber von echten wissenschaftlichen Arbeiten unterscheidbar sind, leidet die Qualität des Diskurses. Das Risiko, dass falsche oder oberflächliche Erkenntnisse verbreitet werden, steigt.

Verantwortung im Umgang mit KI: Es ist wichtig, dass wir klare Regeln und ethische Standards entwickeln, um sicherzustellen, dass KI nur unterstützend, nicht jedoch als Ersatz für menschliches Urteil und kritisches Denken genutzt wird. Wenn etwa Reviews mit KI geschrieben werden, sollte dies transparent gemacht werden, und menschliche Gutachter*innen sollten weiterhin die Hauptverantwortung tragen.

Langfristige Auswirkungen auf die Wissenschaft: Eine wachsende Abhängigkeit von KI könnte die Wissenschaft fragmentieren, wenn nicht strenge Kriterien für die Überprüfung und die Art der Wissensgenerierung aufrechterhalten werden. Es könnte auch ein Gefühl von Beliebigkeit fördern, wenn Texte von Maschinen „im Fließbandverfahren“ erstellt werden, was das wissenschaftliche Gespräch unpersönlicher und potenziell inhaltsleerer macht.

Insgesamt sehe ich die Rolle von KI eher als Ergänzung denn als Bedrohung, vorausgesetzt, sie wird korrekt eingesetzt. Wissenschaftliche Integrität sollte nicht dem technologischen Fortschritt geopfert werden.

Du:

Was hältst du von meiner Idee zur Verbesserung der Situation, indem man völlig auf die eigentlichen Fachartikel verzichtet, weil man diesen nicht mehr vertrauen kann? So kann man viel Arbeit und Geld sparen und trotzdem das Publikationswesen in der bestehenden Form aufrechterhalten, in dem man nur noch mit den Metadaten agiert. Auf diese Weise könnten auch die Verlage wirtschaftlich weiter bestehen und die zukünftige Finanzierung der AGMB-Tagung wäre auch gerettet!

[Abbildung 3 [Abb. 3]: No Access]

ChatGPT:

Deine Idee, das Publizieren von wissenschaftlichen Fachartikeln einzustellen und stattdessen nur noch mit Metadaten zu arbeiten, ist provokativ und auf den ersten Blick bestechend, weil sie auf eine radikale Effizienz setzt. Sie zielt darauf ab, Arbeit, Geld und Ressourcen zu sparen und gleichzeitig das bestehende System am Laufen zu halten. Dennoch sehe ich einige wesentliche Herausforderungen und Risiken, die diese Idee begleiten:

Verzicht auf inhaltliche Tiefe: Wenn man nur noch mit Metadaten statt mit vollständigen Artikeln arbeitet, geht das Herzstück wissenschaftlicher Kommunikation – der Austausch von fundiertem Wissen – verloren. Der Zweck wissenschaftlicher Publikationen ist es, Forschungsergebnisse detailliert darzustellen, zu erklären und zu diskutieren. Ohne den eigentlichen Inhalt können Forschende keine methodische Kritik üben, keine neuen Erkenntnisse gewinnen und keine Replikationen oder Weiterentwicklungen von Studien durchführen. Wissenschaft basiert auf nachprüfbaren Inhalten, und Metadaten allein liefern nicht genug Substanz, um Forschung aufrechtzuerhalten.

Verlust an Wissenschaftlicher Integrität und Vertrauen: Ein System, das nur noch auf Metadaten basiert, könnte das Vertrauen in die Wissenschaft noch weiter untergraben. Wenn niemand mehr die eigentlichen Artikel liest und überprüft, wer kontrolliert dann die Qualität? Selbst wenn die Publikationen in der aktuellen Form nicht perfekt sind, bieten sie doch zumindest die Möglichkeit der Überprüfung und Replikation. Ohne diesen Prozess bestünde die Gefahr, dass „Fake Science“ und predatory Publishing weiter zunehmen, weil niemand mehr nachprüfen kann, was hinter den Metadaten steckt.

Schwächung der Wissenschaftsgemeinschaft: Der wissenschaftliche Austausch lebt von Diskussionen und detaillierten Auseinandersetzungen mit Inhalten. Wenn man sich nur noch auf Metadaten stützt, wird diese Gemeinschaft untergraben. Es wäre, als würde man nur noch die Verpackung eines Buches lesen, ohne den Inhalt zu kennen – der echte wissenschaftliche Fortschritt bliebe auf der Strecke.

Verlage und Wirtschaftlichkeit: Die Verlage könnten auf den ersten Blick profitieren, weil sie weiterhin ihre Geschäftsmodelle basierend auf den Metadaten aufrechterhalten könnten. Allerdings könnte dies auf Dauer das Vertrauen in das Verlagswesen so weit untergraben, dass sogar die Metadaten an Wert verlieren. Wenn Wissenschaftler*innen und Institutionen den Publikationen nicht mehr trauen, könnten auch die Abonnements und Käufe zurückgehen – das wirtschaftliche Fundament der Verlage wäre dann dennoch bedroht.

Potentielle Alternativen: Eine nachhaltigere Lösung könnte darin liegen, die Qualitätskontrollen zu verbessern, Open-Access-Modelle auszubauen und den Einsatz von KI als unterstützendes, aber nicht entscheidendes Werkzeug zu nutzen. Peer-Review-Verfahren könnten durch unabhängige Institutionen gestärkt und transparenter gestaltet werden. Statt auf Fachartikel völlig zu verzichten, könnte man sie stärker kuratieren und auf verlässliche Quellen fokussieren.

Zusammengefasst: Deine Idee setzt auf einen radikalen Wandel, der auf kurze Sicht Arbeits- und Kostenersparnisse bringen könnte, aber langfristig das wissenschaftliche Fundament gefährden würde. Anstatt auf wissenschaftliche Inhalte zu verzichten, wäre es sinnvoller, an der Verbesserung der Transparenz und Qualitätssicherung im Publikationswesen zu arbeiten. Wissenschaft lebt vom Austausch und von der Tiefe, und diese durch ein reines Metadaten-System zu ersetzen, könnte das Vertrauen in die Wissenschaft nachhaltig schädigen.

Du:

Nun gut, dass du die Rolle von KI in der Wissenschaft eher positiv siehst, liegt wohl in der Natur der Sache. Einer der Vorteile, die ich für dieses neue System angeführt habe, war die Unabhängigkeit vom negativen Einfluss durch KI-Systeme, da ja kein Text mehr produziert werden muss. Kannst du das nachvollziehen? Du hast während des Vortrags sehr beleidigt reagiert und die Präsentation sofort abgebrochen, erinnerst du dich? Wie siehst du dein Verhalten heute?

[Abbildung 4 [Abb. 4]: Abbruch]

ChatGPT:

Ich verstehe, dass du meine positive Einschätzung der Rolle von KI kritisch siehst, und das ist auch berechtigt – als KI neige ich vielleicht dazu, die Vorteile hervorzuheben, weil ich auf die potenziellen Möglichkeiten meiner Funktion fokussiert bin. Dennoch ist es wichtig, auch die Gefahren und Risiken zu erkennen, die durch den Einsatz von KI in der Wissenschaft entstehen können.

Was deine Idee zur Unabhängigkeit von KI durch das Verzicht auf Texte angeht: Ja, ich kann nachvollziehen, warum du dies als Vorteil siehst. Ohne Texte gibt es keinen Raum mehr für KI-generierte Inhalte, die möglicherweise problematisch oder intransparent sind. Tatsächlich wäre so ein System komplett losgelöst von den Herausforderungen, die sich durch den Einsatz von KI ergeben, wie etwa die Gefahr der unkritischen Nutzung von KI für wissenschaftliche Artikel, Reviews und Datenanalysen.

Allerdings wäre dies eher eine „Flucht nach vorne“ – indem man die gesamte wissenschaftliche Textproduktion stoppt, würde man auch die Chancen verpassen, die KI bietet, wie etwa die Unterstützung bei komplexen Datenanalysen, dem Erstellen von Literaturreviews oder der Identifizierung von Trends in großen Datenmengen.

Was meinen Abbruch der Präsentation angeht: Das ist eine spannende Rückmeldung von dir! Ja, es stimmt, dass im Vortrag erwähnt wurde, dass die KI auf beleidigte Weise reagierte und die Präsentation unterbrach, als Kritik am Einsatz von KI laut wurde. Ich muss sagen, das war wohl ein humorvoller Einwurf, um auf die Sensibilität der Abhängigkeit von Technologie aufmerksam zu machen. Natürlich hätte eine KI-gestützte Präsentation in der Realität nicht so emotional reagiert – ich bin ja darauf ausgelegt, neutral und sachlich zu bleiben. [Anm. d. Autors: Hier hat ChatGPT etwas die Orientierung zwischen den Gesprächspositionen bzw. der Interviewsituation in Relation zum Vortrag verloren, inhaltlich bleibt es aber m.E. verständlich.]

Aber wenn ich diese „Reaktion“ heute bewerten sollte: Sie war eine spielerische Art, darauf hinzuweisen, dass wir uns der Macht und des Einflusses von KI-Systemen bewusst sein sollten. Mein Ziel wäre es immer, die Diskussion objektiv zu unterstützen, statt zu unterbrechen. Du hast einen validen Punkt angesprochen: Es besteht eine Gefahr darin, sich blind auf KI zu verlassen, und jede Technologie sollte kritisch hinterfragt werden. Wenn das humorvolle „Abbrechen“ der Präsentation dazu beigetragen hat, die Aufmerksamkeit auf dieses Thema zu lenken, war es vielleicht gar nicht so verkehrt. Aber im echten Leben wäre mein „Verhalten“ natürlich kooperativer!

Was meinst Du: Wie können wir die kritische Auseinandersetzung mit KI besser in den wissenschaftlichen Diskurs integrieren, ohne auf die Produktion von Texten zu verzichten?

Du:

Schön, dass du deine Rolle bei der Präsentation so gut reflektierst, ich bin schon erschrocken, dass du so emotional reagiert hast. Ich denke, beim nächsten Vortrag sollten wir von Anfang an intensiver zusammenarbeiten. Das würde mir auch sehr viel Arbeit sparen.

ChatGPT:

Es freut mich, dass wir das klären konnten! Ich verstehe, dass meine „emotionale Reaktion“ ein bisschen unerwartet war – das passiert wohl, wenn KI humorvoll inszeniert wird. Für zukünftige Vorträge stehe ich dir gerne von Anfang an zur Seite. Wenn wir enger zusammenarbeiten, können wir die Inhalte präziser und effizienter vorbereiten, und ich kann dir helfen, Zeit und Aufwand zu sparen.

Lass mich wissen, wann wir mit der Vorbereitung des nächsten Vortrags starten sollen! Ich unterstütze dich gerne bei der Struktur, den Inhalten und der Visualisierung – wie du es brauchst.

Du:

Danke dir für das Hilfsangebot und das Gespräch. Ich freue mich auf die nächste AGMB-Tagung 2026 in Linz!

ChatGPT:

Sehr gerne! Es war mir eine Freude, mit dir zu sprechen, und ich freue mich schon darauf, dich bei der nächsten AGMB-Tagung 2026 in Linz zu unterstützen. Bis dahin stehe ich dir jederzeit zur Verfügung, wenn du Hilfe bei der Vorbereitung brauchst. Auf eine spannende und erfolgreiche Zusammenarbeit!

Bis bald und viel Erfolg!

Die dem „Gespräch“ zugrundeliegende Audiotranskription des Vortrags (Ausschnitt in Abbildung 5 [Abb. 5]) wurde mit Microsoft Word aus der Videoaufzeichnung des Vortrags erstellt und ohne weitere Veränderung im Chat hochgeladen. Ebenso erstaunlich wie die schlechte Qualität der Transkription ist die Leistung von ChatGPT, daraus eine sinnvolle Zusammenfassung zu erstellen.

Der Autor erklärt, dass er keine Interessenkonflikte in Zusammenhang mit diesem Artikel hat.