Bre96b — Zusammenfassung (Session-Result)

Bre96b — Zusammenfassung

Vollständige Referenz: Leo Breiman, „Heuristics of Instability and Stabilization in Model Selection”, The Annals of Statistics 24(6), S. 2350–2383, 1996. DOI: 10.1214/aos/1032181158. Manuskript eingereicht Januar 1995, überarbeitet November 1995.

BibKey-Hinweis: Der Vault-BibKey „Bre96b” folgt der geralpha-Suffix-Konvention (a/b bei Kollision), weil im Jahr 1996 zwei Breiman-Artikel erscheinen: Bre96b = Heuristics of Instability and Stabilization (Annals of Statistics 24(6), S. 2350–2383) und Bre96a = Bagging Predictors (Machine Learning 24(2), S. 123–140). Breiman selbst verweist in Bre96a und Bre01 auf diese Arbeit als „Breiman 1994” (nach der Preprint-Fassung).

Methodik

Analytisch-simulative Arbeit im „supervised prediction”-Rahmen. Untersucht die prediktive Loss $\mathrm{PL}=\mathrm{PE}(\hat{s})-\mathrm{PE}(s^{\ast })$ — den Prognose-Fehler-Zuwachs, den man ohne „crystal ball” (unendliches Test-Set) durch die endliche Modellauswahl-Schätzung $\hat{s}$ statt der optimalen $s^{\ast }$ zahlt. Vergleicht vier lineare Regressionsverfahren (Best-Subset/Stepwise, Ridge, non-negative Garotte, nn-Garotte) analytisch im $X^{t}X=I$-Spezialfall (Section 4) und über Simulationen mit realistischem $X^{t}X$ und random $X$ (Sections 5–6, 8). PE-Schätzung per Test-Set, Cross-Validation (leave-one-out vs. leave-ten-out, Section 7) oder Little-Bootstrap (Section 3.2.3). Section 6.1 evaluiert Stabilisierung durch Rauschen auf den $y$-Werten und Averaging über viele so gewonnene Predictor-Sequenzen.

Kernaussagen

1. Heuristische Definition Instabilität (S. 2354): Ein Regularisierungsverfahren ist instabil, wenn eine kleine Änderung der Trainingsdaten $\mathcal{L}$ eine große Änderung in der regularisierten Predictor-Sequenz $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$ hervorruft.
2. Instabile Verfahren: Subset-Selection, CART, MARS, neuronale Netze (S. 2354). Stabile Verfahren: Ridge-Regression, $k$-nearest-neighbor-Regression (S. 2354).
3. Prediktive Loss wächst mit Instabilität (Abstract, S. 2350): Für ein instabiles Verfahren ist der Verlust zwischen Crystal-Ball-Wahl und statistischer Wahl groß.
4. Stabilisierung durch Perturbation + Averaging (S. 2350 / S. 2355): Instabile Verfahren lassen sich stabilisieren, indem man die Daten perturbiert, jede Perturbation eine neue Predictor-Sequenz erzeugt und über viele Sequenzen mittelt — die Vorstufe zu Bagging.
5. Leave-one-out-CV versagt bei instabilen Verfahren (Section 7): Leave-one-out CV ist bei Subset-Selection schlechter als Leave-ten-out; die mittlere prediktive Loss stieg von 10,5 auf 11,6, der mittlere Downward-Bias von 6,5 auf 19,2 (S. 2370). Grund: höhere Varianz der PE-Schätzung überwiegt den geringeren Bias.
6. Empirische Fehler-Reduktion durch Stabilisierung (Section 6.1, S. 2369): In Random-$X$-Simulation reduzierte die Stabilisierung (Averaging über 30 Leave-out-Sets) die durchschnittliche PL von 10,5 (Subset) auf 7,1 (Stabilized) — 32 %. Über 60 Sets: 6,7. Perturbation der $y$-Werte + 50-faches Averaging: 4,9 — deutlich näher an den ohnehin stabilen Garotte/Ridge-Werten (3,1–4,3).
7. Zukunftsausblick auf CART-Stabilisierung (Section 9, S. 2374): „Stabilizing CART leads to dramatic improvements in accuracy” — direkter Verweis auf Bre96a (Bagging) und Bre96c (Bias, Variance and Arcing Classifiers). Damit ist Bre96b die textliche Brücke von Instabilität → Bagging.

Wörtliche Zitate

(Z1) Abstract-Definition Instabilität (S. 2350)

„If $\mathcal{L}$ is the data used to derive the sequence $\{\hat{\mu }(\cdot ,s)\}$, the procedure is called unstable if a small change in $\mathcal{L}$ can cause large changes in $\{\hat{\mu }(\cdot ,s)\}$. […] The difference in prediction error between the crystal ball selection and the statistician’s choice we call predictive loss. For an unstable procedure the predictive loss is large.”

Deutsche Übersetzung (arbeitseigen): „Wenn $\mathcal{L}$ die Trainingsdaten sind, aus denen die Predictor-Sequenz $\{\hat{\mu }(\cdot ,s)\}$ abgeleitet wird, heißt das Verfahren instabil, sofern eine kleine Änderung in $\mathcal{L}$ große Änderungen in $\{\hat{\mu }(\cdot ,s)\}$ verursachen kann. […] Bei einem instabilen Verfahren ist die prediktive Loss groß.”

(Z2) Heuristische Definition Instabilität (S. 2354)

„Heuristic definition. A regularization procedure is unstable if a small change in the data $\mathcal{L}$ can make large changes in the regularized sequence $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$.”

Deutsche Übersetzung: „Heuristische Definition. Ein Regularisierungsverfahren heißt instabil, wenn eine kleine Änderung der Daten $\mathcal{L}$ große Änderungen in der regularisierten Sequenz $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$ hervorrufen kann.”

(Z3) Konkrete Instabilitäts-Charakterisierung Subset-Selection und Liste der Verfahren (S. 2354)

„Subset selection is unstable: Changing just one data case in $\mathcal{L}$ can cause a large change in the minimizer of $\mathrm{RSS}(\mu )$ over ${\mathcal{U}}_k$. […] Many current regularizations are unstable. The list includes CART, MARS and neural nets. Besides ridge, the only other well-known stable method is $k$-nearest-neighbor regression.”

Deutsche Übersetzung: „Subset-Selection ist instabil: Bereits die Änderung eines einzigen Datenpunkts in $\mathcal{L}$ kann eine große Änderung des Minimierers von $\mathrm{RSS}(\mu )$ über ${\mathcal{U}}_k$ auslösen. […] Viele aktuelle Regularisierungsverfahren sind instabil. Dazu gehören CART, MARS und neuronale Netze. Außer Ridge ist das einzige weitere bekannte stabile Verfahren die $k$-nächste-Nachbarn-Regression.”

(Z4) Stabilisierung durch Perturbation und Averaging (S. 2355)

„Given that instability has undesirable consequences, what can be done? Unstable procedures can be stabilized! […] the averaged predictors $\{{\hat{\mu }}_{ST}(\cdot ,s)\}$ are a more stable sequence with lower predictive loss and less biased PE estimates.”

Deutsche Übersetzung: „Da Instabilität unerwünschte Folgen hat: Was ist zu tun? Instabile Verfahren lassen sich stabilisieren! […] die gemittelten Predictoren $\{{\hat{\mu }}_{ST}(\cdot ,s)\}$ bilden eine stabilere Sequenz mit geringerer prediktiver Loss und weniger stark verzerrten PE-Schätzungen.”

(Z5) Verweis auf CART-Stabilisierung (S. 2374, Concluding Remarks)

„There are no known stable versions of CART, MARS or neural networks. Stabilizing these methods can give nonlinear predictors with improved accuracy. In particular, Breiman (1996b, c) shows that stabilizing CART leads to dramatic improvements in accuracy.”

Deutsche Übersetzung: „Es sind keine stabilen Varianten von CART, MARS oder neuronalen Netzen bekannt. Eine Stabilisierung dieser Methoden kann nichtlineare Predictoren mit verbesserter Genauigkeit liefern. Insbesondere zeigt Breiman (1996b, c), dass die Stabilisierung von CART zu dramatischen Genauigkeitsverbesserungen führt.”

Bezug zur Zulassungsarbeit

Bre96b ist die Primärquelle für die Instabilitäts-Aussage in Kap. 4.1 (bisher \beleg{Bre96a Kap. 1}, das seinerseits nur auf Bre96b verweist). Der neue \beleg-Marker in Kap. 4.1 Z. 11 sollte lauten: \beleg{Bre96b Kap. 1.4} → wird zu \cite[S.~2354]{Bre96b} (Heuristic definition + CART-Liste in einem Absatz). Zusätzlich liefert Bre96b die textuelle Brücke „Instabilität → Bagging” für die Motivations-Passage in Kap. 4.1/4.2 (Z5 auf S. 2374 verweist explizit auf Bre96a als Anwendung der Stabilisierungs-Heuristik auf CART).

Zusammenhänge

• Session: session
• Quellen-Karte: Bre96b
• Lernmaterial: bre94-zusammenfassung
• Verweist auf: Bre96a (Bagging), Bre01 (Random Forests)