Heuristics of Instability and Stabilization in Model Selection

Heuristics of Instability and Stabilization in Model Selection — Breiman (1996)

PDF: https://studium.alexium-core.de/01_arbeiten/01_zulassungsarbeit/B_literatur/pdfs/Bre96b.pdf

BibKey-Hinweis: „Bre96b” folgt der geralpha-Suffix-Konvention (a/b bei Kollision), weil im Jahr 1996 zwei Breiman-Artikel erscheinen (Bre96b = Heuristics, Bre96a = Bagging). Breiman selbst verweist in Bre96a und Bre01 auf diese Arbeit als „Breiman 1994” (Preprint-Jahr).

Bibliographische Angaben

The Annals of Statistics 24(6):2350-2383. Institute of Mathematical Statistics. DOI 10.1214/aos/1032181158. Manuskript eingereicht Januar 1995, überarbeitet November 1995. Partially supported by NSF Grant DMS-92-12419.

Beschaffung

• Quelle: Project Euclid (Open Access)
• PDF im Vault: 01_arbeiten/01_zulassungsarbeit/B_literatur/pdfs/Bre96b.pdf
• Status: ☒ gelesen ☐ markierte Stellen ☐ in literatur.bib

Methodik / Charakter der Quelle

Analytisch-simulative Originalarbeit im Kontext linearer Regression: untersucht die prediktive Loss $\mathrm{PL}=\mathrm{PE}(\hat{s})-\mathrm{PE}(s^{\ast })$ als Kostenmaß der Modellselektion ohne perfekten Test-Set-Zugang. Führt die heuristische Definition von Instabilität ein (kleine Änderung in $\mathcal{L}$ → große Änderung in der Predictor-Sequenz) und listet Subset-Selection, CART, MARS und neuronale Netze als typische instabile Verfahren; Ridge und $k$-NN als stabile Gegenbeispiele. Section 1.5 führt Stabilisierung durch Perturbation + Averaging als Gegenmaßnahme ein — konzeptuelle Vorstufe zu Bagging (Bre96a) und Arcing (Bre96c).

Kernaussagen

• Heuristische Definition Instabilität (S. 2354): kleine Änderung in $\mathcal{L}$ verursacht große Änderung in der Predictor-Sequenz.
• Instabile Verfahren: Subset-Selection, CART, MARS, neuronale Netze (S. 2354).
• Stabile Verfahren: Ridge, $k$-NN-Regression (S. 2354).
• Instabilität ↔ prediktive Loss: Für instabile Verfahren ist PL groß (Abstract, S. 2350).
• Stabilisierung durch Perturbation + Averaging (S. 2355, 2369): reduziert PL empirisch um ~30–50 %.
• Leave-one-out-CV ist bei instabilen Verfahren schlechter als Leave-many-out (S. 2370: Bias 6,5 → 19,2).
• Ausblick S. 2374: Stabilisierung von CART gibt „dramatic improvements” — Brücke zu Bre96a (Bagging).

Wörtliche Zitate (Reserve)

• S. 2350 (Abstract): „If $\mathcal{L}$ is the data used to derive the sequence $\{\hat{\mu }(\cdot ,s)\}$, the procedure is called unstable if a small change in $\mathcal{L}$ can cause large changes in $\{\hat{\mu }(\cdot ,s)\}$.”
• S. 2354 (Heuristic definition): „A regularization procedure is unstable if a small change in the data $\mathcal{L}$ can make large changes in the regularized sequence $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$.”
• S. 2354 (Liste): „Many current regularizations are unstable. The list includes CART, MARS and neural nets. Besides ridge, the only other well-known stable method is $k$-nearest-neighbor regression.”
• S. 2355 (Stabilisierung): „Unstable procedures can be stabilized! […] the averaged predictors $\{{\hat{\mu }}_{ST}(\cdot ,s)\}$ are a more stable sequence with lower predictive loss and less biased PE estimates.”
• S. 2374 (Concluding Remarks): „Stabilizing CART leads to dramatic improvements in accuracy.”

Bezug zur Zulassungsarbeit

Primärquelle für die Instabilitäts-Aussage in Kap. 4.1 (bisher \beleg{Bre96a Kap. 1}; Bre96a zitiert seinerseits nur diese Arbeit). Neuer \beleg-Vorschlag: \beleg{Bre96b Kap. 1.4} → \cite[S.~2354]{Bre96b}. Zusätzlich Vorstufen-Nachweis für Bagging (Section 1.5, 6.1, 9).

Verwandte Quellen

• Bre96a — Bagging: konkrete Anwendung der Stabilisierungs-Heuristik auf CART
• Bre01 — Random Forests: Weiterentwicklung der Bagging-Idee mit Feature-Sub-Sampling
• BFOS84 — CART als das in Bre96b explizit genannte instabile Baumverfahren