gms | German Medical Science

Das Ziel eines Klassifikationsverfahrens besteht darin, anhand einer Stichprobe von beobachteten Merkmalen und Klassenzugehörigkeiten, einem sog. Trainingsdatensatz, eine Klassifikationsregel zu erstellen, die jedem Vektor beobachtbarer Merkmale eine eindeutige Klasse zuweist.

Die Idee des Boosting [Ref. 1] ist, eine Folge von Klassifikationsregeln zu erzeugen, indem das Klassifikationsverfahren iterativ auf unterschiedlich gewichtete Versionen des ursprünglichen Trainingsdatensatzes angewandt wird. Man erhält eine endgültige geboostete Klassifikationsregel als Linearkombination der Folge.

In einer Simulationsstudie wird untersucht, unter welchen Umständen die Verwendung von Boosting Verfahren zu einer Verbesserung der Prädiktionsfähigkeit eines Klassifikationsverfahrens führen kann.

In einer ersten Simulationsstudie mit drei binomial- und drei normalverteilten beobachtbaren Merkmalen werden die bedingten Wahrscheinlichkeiten der Klassenzugehörigkeit durch ein linear-logistisches Modell bestimmt. In zwei weiteren Simulationsstudien werden dem linear-logistischen Modell multivariate und nichtlineare Terme hinzugefügt, um den Einfluss von Variableninterakion und -transformation zu untersuchen.

Verwendet werden das AdaBoost.M1 [Ref. 2] Verfahren angewendet auf Klassifikationsbäume [Ref. 3], sowie Gradient Boosting mit Regressionsbäumen [Ref. 4]. Die Prädiktionsfähigkeit der geboosteten Klassifikationsregeln wird mit der eines einzelnen Klassifikationsbaums, sowie einer logistischen Regression verglichen. Als Kriterien dienen dabei die Fehlklassifikationsrate, sowie der Brier Score.

In allen drei Simulationsstudien wird die Prädiktionsfähigkeit der Klassifikationsbäume durch den Einsatz von Boosting Verfahren wesentlich verbessert. Fehlen Variableninteraktionen, so sind Kombinationen minimaler Klassifikationsbäume, sog. decision stumps, denen komplexerer Bäume überlegen. Die beiden Boosting Verfahren unterscheiden sich vor allem bei der Schätzung der bedingten Wahrscheinlichkeiten der Klassenzugehörigkeit.

Boosting Verfahren können die Prädiktionsfähigkeit von Klassifikationsverfahren wesentlich verbessern. Es scheint, dass vor allem einfache und flexible Klassifikationsverfahren mit Boosting sehr gute Klassifikationsregeln liefern. Neuere, analytische Arbeiten (siehe u.a. [Ref. 5]) zeigen die Konsistenz von Boosting Verfahren unter geringen Anforderungen an die Komplexität des verwendeten Klassifikationsverfahrens. Modifikationen der einfachen Boosting Verfahren, wie z.B. eine Regularisierung, könnten die hier beobachtete Überanpassung an den Trainingsdatensatz verringern.