gms | German Medical Science

Einleitung: Die Evaluation der chirurgischen Fähigkeiten in der Minimal Invasiven Chirurgie (MIC) erfolgt durch Expertenbeobachtung anhand von validierten Scores wie dem Objective Structured Assessment of Technical Skill (OSATS). Der OSATS Score bewertet an Hand allgemeiner (Global Rating Scale – GRS) und eingriffspezifischer Kriterien (Specific Technical Skill – STS). Die Konstruktvalidität wurde für den OSATS Score mittels direkt beobachteter Bewertung durch erfahrene Rater bewiesen. Die vorgestellte Studie vergleicht das direkt beobachtete Rating mit dem Rating per Videoaufnahme im Intervall und der OP-Zeit.

Material und Methoden: Die Probanden (n=79) verschiedener Erfahrungsstufen (Studenten, unerfahrene und erfahrene Assistenzärzte) führten eine laparoskopische Cholezystektomie (LC) am Tierkadavermodell im Pulsating Organ Perfusion (P.O.P) Trainer durch. Jede LC wurde während des Eingriffs durch einen Rater anhand des OSATS Scores direkt bewertet. Der Eingriff wurde simultan auf Video aufgenommen und durch einen weiteren Rater im Intervall nach den gleichen Kriterien bewertet. Die OP-Zeit wurde ebenfalls aufgenommen. Die Ratings geschahen seitens der Rater verblindet zum Erfahrungsstatus der Teilnehmer.

Ergebnisse: Das Rating per OSATS Score korrelierte signifikant zwischen direkter und videobasierter Bewertung im Gesamtscore (Korrelationskoeffizient R=0,32; p=0,006) und in den Unterskalen GRS (R=0,3; p=0,007) und STS (R=0,28; p=0,01). Die OP-Zeit korrelierte signifikant mit dem OSATS Score des direkten Ratings (R=-0,27; p=0,02), jedoch nicht signifikant mit dem videobasierten Rating (R=-0,19; p=0,12). Die Konstruktvalidität für die Unterscheidung zwischen Studenten, unerfahrenen und erfahrenen Assistenzärzten war für den Parameter OP-Zeit am höchsten (p<0,001). Im Vergleich der Konstrukvalidität zeigten sich ebenfalls Unterschiede zwischen direktem und videobasiertem Rating. Die Konstruktvalidität war für das direkte Rating ebenfalls signifikant (p=0,003), jedoch nicht für das videobasierte Rating (p=0,4).

Schlussfolgerung: Die Konstruktvalidität zeigte sich in dieser Studie für den Parameter OP-Zeit am Besten. Um einen schnellen Eindruck über den Könnensstand zu erhalten ist die OP-Zeit ein maßgeblicher Parameter. Dieser beachtet jedoch keine spezifischen technischen Fehler und ist damit ungeeignet in der Ausbildung der MIC ein individuelles Feedback zu erteilen und so den Lernfortschritt zu beschleunigen. Der OSATS Score ist einfach zu nutzen und bietet trotzdem eine gute Möglichkeit der Evaluation der chirurgischen Fähigkeiten mit gezieltem Feedback zu generellen und technikspezifischen Kriterien. Die Ergebnisse der Studie zeigen eine Korrelation zwischen direktem und videobasiertem Rating. Die Konstruktvalidität des OSATS im Vergleich zwischen direktem und videobasiertem Rating war jedoch nicht gleichwertig. Eine Vielzahl von Faktoren kann hier beeinflussend zu Trage kommen. Durch ein videobasiertes Rating können zwar ein Bias durch Sympathie und Geschlecht ausgeschlossen werden, jedoch kann nur im direkten Rating die Inanspruchnahme von Hilfestellung und Unterstützung gewürdigt und bewertet werden. Dies scheint uns für die Bewertungsunterschiede wesentlich, da unsere Studie zeigte, dass das direkte Rating den Ausbildungsstand der Probanden richtig wiedergab, während dies beim videobasierten Rating nicht der Fall war.