gms | German Medical Science

Sofern ein diagnostischer Screening-Test aus wenigen Items besteht können zur Verbesserung der diagnostischen Qualität die Itemwerte mit unterschiedlicher Gewichtung zu einem Index kombiniert werden, vorausgesetzt die Gewichtungsfaktoren werden an hinreichend großen Stichproben ermittelt [Ref. 1]. Der KIDSCREEN-10-Index zum subjektiven Wohlbefinden ist ein neuer europaweit einsetzbarer kurzer Fragebogen zur psychischen Gesundheit von Kindern und Jugendlichen [Ref. 2]. Die 10 Items zu affektiven, kognitiven, psychosozialen und motivationalen Aspekten werden zu einem Index der mentalen Gesundheit aufsummiert. Der KIDSCREEN-Index soll zum Screening von psychischen Auffälligkeiten in großen internationalen epidemiologischen Gesundheitsstudien verwendet werden.

Diese Studie vergleicht Gewichtungsprozeduren basierend auf logistischen Regressionen und neuronalen Netzwerk-Simulationen mit der traditionellen Gleichgewichtung. Geprüft wird ob der KIDSCREEN-Index in der Selbstauskunftsversion ein diagnostisch brauchbares Screening psychischer Erkrankungen ermöglicht und welcher Gewichtungs-Algorithmus zu den besten Resultaten hinsichtlich der Sensitivität und der Spezifität gegenüber psychischen Störungen führt.

Datengrundlage der Untersuchung sind die im Rahmen der Europaweiten KIDSCREEN Feldstudie erhobenen Daten (n=2920) von deutschen und österreichischen Kindern und Jugendlichen im Alter von 8 – 18 Jahren. Das Vorliegen einer psychischen Störung wurde durch den Strengths and Difficulties Questionnaire [Ref. 3] in der Selbst- und Elternauskunft sowie Elternangaben über psychische Störungs-Diagnosen festgestellt. Insgesamt 197 Befragte wiesen demnach eine psychische Störung auf. Untersucht wurde, wie gut der KIDSCREEN-Index in der Selbstauskunftsversion zwischen diesen psychisch auffälligen- sowie den unauffälligen Kindern und Jugendlichen zu unterscheiden vermag. Unter Verwendung einer Zufallsauswahl von 80% der Befragten (Trainingsdatensatz) wurden die 5-stufigen Itemwerte einmal direkt und einmal als dummy-kodierte Indikatorvariablen in logistische Regressionsanalysen (SPSS 12.0) zur Vorhersage einer psychischen Störung aufgenommen und die resultierenden Regressionskoeffizienten für zwei Skalierungsalternativen des KIDSCREEN verwendet.

Außerdem wurden die Itemwerte in einem künstlichen neuronalen Netzwerk (NEURAL CONNECTION 2.1) zur Vorhersage psychischer Auffälligkeiten eingegeben. Wir trainierten ein aus 10 Eingabeneuronen, 3 verdeckten Neuronen und einem Ausgabeneuron bestehendes Multi-Layer-Perceptron mit hyperbolischer-Tangens-Aktivierungsfunktion [Ref. 4]. Zur Vermeidung von Überlernen wurde ein bayesianischer Backpropagation Algorithmus verwendet [Ref. 5]. Die resultierenden Werte der Ausgabeeinheit dienten als Testwerte. Danach wurden die dummy-kodierten Itemwerte in ein 40 Eingabeneuronen, 6 verdeckten Neuronen und ein Ausgabeneuron umfassendes Netzwerk eingegeben und die Werte der Ausgabeeinheit als weitere Auswertungsmöglichkeit des KIDSCREEN verwendet.

Die diagnostische Qualität des ungewichteten KIDSCREEN Summenwertes, sowie der verschiedenen Gewichtungsprozeduren wurde über die mittels Sensitivität und 1 - Spezifität hinsichtlich psychischen Störungen ermittelte Fläche unter der Receiver Operating Characteristic (ROC) Kurve [Ref. 6] bestimmt. Statistisch signifikante Unterschiede zwischen den ROC’s wurden berechnet (STATA 8.2). Die anhand des Trainingsdatensatzes entwickelten Gewichtungsprozeduren wurden anschließend an den verbleibenden 20% der Befragten (Testdatensatz) kreuzvalidiert. Die Reliabilität des KIDSCREEN Summenwerte wurde über Cronbach’s Alpha ermittelt.

Der Summenwert des KIDSCREEN ermöglicht mit einer Fläche unter der ROC-Kurve von 0.76 (Trainingsdaten) beziehungsweise 0.77 (Testdaten) nach den Konventionen von [Ref. 7] eine “akzeptable“ Unterscheidung zwischen unauffälligen- und psychisch auffälligen Kindern und Jugendlichen. Die Reliabilität des Summenwertes betrug nach Cronbach’s Alpha 0.81. Die Itemgewichtung durch die logistischen Regressionskoeffizienten sowie die Gewichtungsfaktoren der neuronalen Netzwerk-Simulation führten im Trainingsdatensatz zu einer statistisch signifikanten Verbesserung der diagnostischen Qualität des KIDSCREEN (Fläche unter der ROC-Kurve = 0.78 bzw. 0.80 bei dummy-Kodierung). Im Testdatensatz ergaben sich dagegen keine statistisch signifikanten Unterschiede. Eine Begutachtung der logistischen Regressionskoeffizienten und der Gewichte des trainierten neuronalen Netzwerkes ergab unter Berücksichtigung der Iteminhalte keine theoretisch plausiblen Werte.

In einem weiteren Schritt wurden soziodemografische Informationen (<12 / >= 12 Jahre, Geschlecht und Nationalität) als Kovariaten und Interaktionsterme mit den KIDSCREEN Variablen in weitere logistische Regressionsanalysen und neuronale Netzwerk-Simulationen einbezogen. Unter Hinzunehmen dieser Informationen verbesserte sich unter beiden mathematischen Ansätzen im Trainingsdatensatz statistisch signifikant die diagnostische Qualität des KIDSCREEN Summenwertes (Fläche unter der ROC-Kurve = 0.80) und der 10 Itemwerte (Fläche unter der ROC-Kurve = 0.83). Im Testdatensatz vergrößerte lediglich die neuronale Netzwerk-Simulation mit dem Summenwert und den soziodemografischen Variablen bzw. den Interaktionstermen statistisch signifikant die Fläche unter der ROC-Kurve auf 0.80. Dieser Wert, der nach den Konventionen von [Ref. 7] als “ausgezeichnete“ Diskriminationsfähigkeit bewertet werden kann, wurde auch von der entsprechenden logistischen Regressionsprozedur erreicht.

In Subgruppenanalysen zeigten sich je nach Alter und Geschlecht geringe aber statistisch signifikante Unterschiede in der Fläche unter der ROC-Kurve.

Der KIDSCREEN-10-Index ermöglicht ein diagnostisch brauchbares Screening psychischer Erkrankungen bei deutschen und österreichischen Kindern und Jugendlichen. Unter Berücksichtigung von Alters-, Geschlechts- und Nationalitäts- Unterschieden ermöglicht der Summenwert des KIDSCREEN-10 sogar eine über die aktuelle Stichprobe hinaus generalisierbare “ausgezeichnete“ [Ref. 7] Diskrimination zwischen unauffälligen- und psychisch auffälligen Kindern und Jugendlichen. Das auf der Selbstauskunft der Befragten basierende KIDSCREEN-Instrument ist in der Anwendung ökonomisch, der Summenwert weist eine hohe Reliabilität auf.

Weder die auf logistischen Regressionen- noch die auf neuronalen Netzwerk-Simulationen basierenden komplexeren Item-Gewichtungs-Prozeduren führen zu einer generellen Verbesserung der Sensitivität und Spezifität bezüglich psychischen Störungen, sondern bewirken im ungünstigsten Falle lediglich eine Anpassung an stichprobenbedingte Besonderheiten [Ref. 1]. Hierauf deuten auch die theoretisch nicht plausibel erklärbaren Regressions-Koeffizienten bzw. Netzwerk-Gewichte hin.

Die Ergebnisse belegen die Wichtigkeit der Berücksichtigung von Alters-, Geschlechts- und Nationalitäts- Unterschieden bei der Diagnostik psychischer Erkrankungen sowie die Notwendigkeit einer Kreuzvalidierung bei der Entwicklung und Testung diagnostischer Prozeduren.

Aufgrund der vorliegenden Resultate wird zum Screening psychischer Auffälligkeiten die Verwendung des ungewichteten KIDSCREEN-Summenwertes in Verbindung mit Alters-, Geschlechts- und Länderzugehörigkeits- Angaben empfohlen. Das KIDSCREEN Instrument wird in verschiedenen europaweiten Studien zur Gesundheit von Kindern und Jugendlichen als Screening-Instrument eingesetzt. Weitere differenziertere Überprüfungen seiner diagnostischen Qualität sowie verschiedener Grenzwerte sind geplant.