Bre96b (Breiman 1996) — Deutsche Zusammenfassung

Breiman 1996 — Heuristics of Instability and Stabilization in Model Selection

Vollständige Referenz: Leo Breiman, „Heuristics of Instability and Stabilization in Model Selection”, The Annals of Statistics 24(6), S. 2350–2383, 1996. DOI: 10.1214/aos/1032181158.

BibKey-Hinweis: Der Vault-BibKey „Bre96b” folgt der geralpha-Suffix-Konvention (a/b bei Kollision), weil im Jahr 1996 zwei Breiman-Artikel erscheinen: Bre96b = Heuristics of Instability and Stabilization (Annals of Statistics 24(6), S. 2350–2383) und Bre96a = Bagging Predictors (Machine Learning 24(2), S. 123–140). Breiman selbst verweist in Bre96a und Bre01 auf diese Arbeit als „Breiman 1994” (nach der Preprint-Fassung).

Für die Zulassungsarbeit

Kernbotschaft: Bre96b ist die Primärquelle für die Instabilitäts-Definition, auf die sich alle späteren Ensembles (Bre96a Bagging, Bre01 Random Forests) berufen. Ein Regularisierungsverfahren ist instabil, wenn eine kleine Änderung der Trainingsdaten $\mathcal{L}$ eine große Änderung in der Predictor-Sequenz $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$ hervorruft (S. 2354). Breiman listet CART, MARS, Neural Nets und Subset-Selection als instabil, Ridge und $k$-NN als stabil (S. 2354). Und er zeigt: Stabilisierung durch Perturbation + Averaging funktioniert — die konzeptuelle Vorstufe zu Bagging, die Breiman zwei Jahre später (Bre96a) auf CART überträgt.

Damit ist Bre96b der korrekte primäre Beleg für die Instabilitäts-Aussage in Kap. 4.1 (Z. 11) und ersetzt dort den bisherigen Verweis auf Bre96a Kap. 1 (das seinerseits nur zurück auf Bre96b zeigt).

Zitat-Landkarte (Stand 2026-08-11)

Chronologische Gesamt-Übersicht aller Zitate der Arbeit: zitat-index.

\cite-Stellen (verifiziert)

Manuskript-Kap. / Zeile	Aussage	Zitatmarker
Kap. 2.4 Z. 311	Bibliografische Nennung Breiman 1996 (Heuristics of Instability) im Zeitstrahl	\cite{Bre96b}
Kap. 4.1 Z. 15	Instabilitäts-Definition + CART/MARS/neuronale Netze als instabil, Ridge/$k$-NN als stabil	\cite[S.~2354]{Bre96b}
Kap. 4.1 Z. 29	Stabilisierungsprinzip: Perturbation + Averaging → stabilere Predictor-Folge mit geringerem Vorhersagefehler	\cite[S.~2355]{Bre96b}
Kap. 4.1 Z. 33	Concluding Remarks: Stabilisierung von CART führt zu deutlichen Genauigkeitsverbesserungen; Verweis auf Bre96a (Bagging)	\cite[S.~2374]{Bre96b}

\cite[S.~2354]{Bre96b} — Instabilitäts-Definition + CART-Liste (Kap. 4.1 Z. 15)

Manuskript-Aussage: Breiman charakterisiert ein Lernverfahren als instabil, wenn eine kleine Änderung der Trainingsdaten eine große Änderung des resultierenden Modells hervorruft; CART, MARS und neuronale Netze zählen zu den instabilen, Ridge-Regression und $k$-nächste-Nachbarn-Regression zu den stabilen Verfahren.

Originalwortlaut (S. 2354):

„Heuristic definition. A regularization procedure is unstable if a small change in the data $\mathcal{L}$ can make large changes in the regularized sequence $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$. […] Many current regularizations are unstable. The list includes CART, MARS and neural nets. Besides ridge, the only other well-known stable method is $k$-nearest-neighbor regression.”

Deutsche Übersetzung: „Heuristische Definition. Ein Regularisierungsverfahren ist instabil, wenn eine kleine Änderung in den Daten $\mathcal{L}$ große Änderungen in der regularisierten Sequenz $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$ hervorrufen kann. […] Viele aktuelle Regularisierungsverfahren sind instabil. Dazu gehören CART, MARS und neuronale Netze. Außer Ridge ist das einzige weitere bekannte stabile Verfahren die $k$-nächste-Nachbarn-Regression.”

Begründung Passung: Definition und Verfahrensliste stehen in einer zusammenhängenden Passage. CART wird explizit als instabil eingeordnet — die Brücke zwischen abstrakter Definition und Manuskript-Fokus auf Entscheidungsbäume ist damit direkt belegt. Anmerkung: Breiman formuliert die Definition im Rahmen der „regularization procedures”; CART fällt darunter, weil Pruning als Regularisierungs-Schritt gilt.

\cite[S.~2355]{Bre96b} — Stabilisierungsprinzip Perturbation + Averaging (Kap. 4.1 Z. 29)

Manuskript-Aussage: Als Gegenmittel schlägt Breiman vor, mehrere Predictoren aus perturbierten Fassungen der Trainingsdaten zu erzeugen und ihre Ausgaben zu mitteln; die resultierende Predictor-Folge ist stabiler und liefert einen geringeren Vorhersagefehler.

Originalwortlaut (S. 2355, Section 1.5 „Stabilization”):

„Given that instability has undesirable consequences, what can be done? Unstable procedures can be stabilized! Consider all data sets ${\mathcal{L}}^{\prime }$ such that $d(\mathcal{L},{\mathcal{L}}^{\prime })\le \delta$ in some (unspecified) metric $d$. Define ${\hat{\mu }}_{ST}(\cdot ,s)={\mathrm{Av}}_{d({\mathcal{L}}^{\prime },\mathcal{L})\le \delta }\hat{\mu }(\cdot ,s,{\mathcal{L}}^{\prime })$. Then the averaged predictors $\{{\hat{\mu }}_{ST}(\cdot ,s)\}$ are a more stable sequence with lower predictive loss and less biased PE estimates.”

Deutsche Übersetzung: „Wenn Instabilität unerwünschte Folgen hat, was ist zu tun? Instabile Verfahren lassen sich stabilisieren! Betrachte alle Datensätze ${\mathcal{L}}^{\prime }$ mit $d(\mathcal{L},{\mathcal{L}}^{\prime })\le \delta$ in einer (unspezifizierten) Metrik $d$. Definiere ${\hat{\mu }}_{ST}(\cdot ,s)={\mathrm{Av}}_{d({\mathcal{L}}^{\prime },\mathcal{L})\le \delta }\hat{\mu }(\cdot ,s,{\mathcal{L}}^{\prime })$. Dann sind die gemittelten Predictoren $\{{\hat{\mu }}_{ST}(\cdot ,s)\}$ eine stabilere Sequenz mit geringerem prediktiven Verlust und weniger verzerrten PE-Schätzungen.”

Begründung Passung: Benennt Perturbation + Averaging als Stabilisierungsprinzip und die Wirkung („more stable sequence with lower predictive loss”). Bre96b formuliert das Prinzip allgemein; Bre96a (Bagging) ist die spezifische Umsetzung mit Bootstrap-Perturbation.

\cite[S.~2374]{Bre96b} — CART-Stabilisierung mit Verweis auf Bagging (Kap. 4.1 Z. 33)

Manuskript-Aussage: Für Entscheidungsbäume weist Breiman in den abschließenden Bemerkungen darauf hin, dass eine solche Stabilisierung zu deutlichen Genauigkeitsverbesserungen führt, und verweist dafür auf Bagging als konkrete Umsetzung.

Originalwortlaut (S. 2374, Section 9 „Concluding remarks”):

„There are no known stable versions of CART, MARS or neural networks. Stabilizing these methods can give nonlinear predictors with improved accuracy. In particular, Breiman (1996b, c) shows that stabilizing CART leads to dramatic improvements in accuracy.”

Deutsche Übersetzung: „Es sind keine stabilen Versionen von CART, MARS oder neuronalen Netzen bekannt. Eine Stabilisierung dieser Methoden kann nichtlineare Predictoren mit verbesserter Genauigkeit liefern. Insbesondere zeigt Breiman (1996b, c), dass die Stabilisierung von CART zu dramatischen Genauigkeitsverbesserungen führt.”

Begründung Passung: „Breiman (1996b)” in Breimans eigener Nummerierung ist unser Bre96a (Bagging Predictors). Die Passage liefert die inhaltliche Brücke von der abstrakten Stabilisierungs-Heuristik zur konkreten CART-Umsetzung in Bagging und rechtfertigt damit den Übergang zu Kap. 4.2.

\cite{Bre96b} — Bibliografische Nennung im Zeitstrahl (Kap. 2.4 Z. 311)

Manuskript-Aussage: Nennung von Breiman 1996 (Heuristics of Instability) im chronologischen Zeitstrahl. Originalwortlaut: Bibliografische Nennung ohne Seitenbezug. Begründung Passung: Reine bibliografische Nennung der Primärquelle im Zeitstrahl-Kontext.

---

Abstract

Kern-Aussagen des Abstracts (S. 2350):

1. Ein Modellselektions-Verfahren wählt aus einer Predictor-Sequenz $\{\hat{\mu }(\cdot ,s)\}$ den (vermeintlich) besten Predictor. Der Komplexitäts-Parameter $s$ steuert die Modellklasse.
2. Ein Verfahren ist instabil, wenn eine kleine Änderung der Trainingsdaten $\mathcal{L}$ große Änderungen in der Predictor-Sequenz $\{\hat{\mu }(\cdot ,s)\}$ verursacht.
3. Die prediktive Loss $\mathrm{PL}$ ist der Fehler-Zuwachs zwischen dem Predictor, den man mit einem „Crystal Ball” (perfekter Test-Set) wählen würde, und dem, den ein Statistiker ohne Crystal Ball wählt.
4. Instabile Verfahren haben große prediktive Loss.
5. Instabile Verfahren lassen sich durch Perturbation der Daten + Averaging stabilisieren.

---

Section 1. Introduction

1.1 The prediction problem

Standard-Setting: Trainingsdaten $\mathcal{L}=\{(y_n,{\mathbf{x}}_n),n=1,\dots ,N\}$, gesucht ist eine Funktion $\mu (\mathbf{x},\mathcal{L})$ mit möglichst kleiner Prediction Error $\mathrm{PE}(\mu )\approx \frac{1}{N^{\prime }}{\sum }_n(y_n^{\prime }-\mu ({\mathbf{x}}_n^{\prime },\mathcal{L}){)}^2$ auf einem Test-Set $\mathcal{T}$.

1.2 An example

Zehnter-Grades-Polynom-Fit von $y=2x^2+\epsilon$ auf 20 Punkten: überfitting (hohe Varianz). First-Grade-Polynom: underfitting (hoher Bias). Kompromiss: Sequenz von Modellklassen ${\mathcal{U}}_0\subset {\mathcal{U}}_1\subset \dots \subset {\mathcal{U}}_{10}$ (Polynome vom Grad $\le k$), Auswahl des besten $k$.

Drei Auswahl-Wege:

1. Wissen um Datenerzeugung: $\hat{\mu }(\cdot ,2)$.
2. Crystal Ball: unendlicher Test-Set → $k^{\ast }=\arg {\min }_k\mathrm{PE}(\hat{\mu }(\cdot ,k))$.
3. Fallible estimate: Schätzung $\widehat{\mathrm{PE}}$ (z.B. per CV, Bootstrap) → $\hat{k}=\arg {\min }_k\widehat{\mathrm{PE}}(\hat{\mu }(\cdot ,k))$.

1.3 Regularization procedures

Definition 1.1 (S. 2352): Eine Regularisierung ist eine Familie geschachtelter Unterräume ${\mathcal{U}}_s\subset \mathcal{U}$ mit $s\le s^{\prime }\Rightarrow {\mathcal{U}}_s\subset {\mathcal{U}}_{s^{\prime }}$. $\hat{\mu }(\cdot ,s)$ minimiert $\Vert y-\mu {\Vert }^2$ in ${\mathcal{U}}_s$. Beispiele:

• Lineare Regression: Subset-Selection (${\mathcal{U}}_k$ = alle linearen Funktionen mit ≤ $k$ Koeffizienten) oder Ridge ($\Vert \beta \Vert \le s$).
• CART: ${\mathcal{U}}_k$ = alle binären Bäume mit ≤ $k$ terminalen Knoten.
• MARS: Summen aus ≤ $k$ Produkten linearer Splines.
• Neuronale Netze: ≤ $k$ Hidden-Layer-Units oder Weight-Decay.

1.4 Predictive loss, instability and stabilization

Definition prediktive Loss: $\mathrm{PL}=\mathrm{PE}(\hat{s})-\mathrm{PE}(s^{\ast })$ — Kosten der ungenauen Modellwahl.

Heuristische Definition Instabilität (S. 2354):

A regularization procedure is unstable if a small change in the data $\mathcal{L}$ can make large changes in the regularized sequence $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$.

Kern-Beispiele (S. 2354):

• Subset selection ist instabil: Ein einziger Datenpunkt-Wechsel kann den Minimierer von $\mathrm{RSS}(\mu )$ über ${\mathcal{U}}_k$ stark verändern.
• Ridge ist stabil: Kleine Änderung → Minimierer bleibt nahe.
• Viele weitere Verfahren instabil: CART, MARS, neuronale Netze.
• Stabile Alternativen: Ridge und $k$-nearest-neighbor-Regression.

Konsequenz: Je instabiler, desto verrauschter die PE-Schätzung $\widehat{\mathrm{PE}}(s)$ → desto größer die prediktive Loss.

1.5 Stabilization (S. 2355)

Grundidee: Definiere ${\hat{\mu }}_{ST}(\cdot ,s)={\mathrm{Av}}_{d({\mathcal{L}}^{\prime },\mathcal{L})\le \delta }\hat{\mu }(\cdot ,s,{\mathcal{L}}^{\prime })$ — mittele über Predictoren, die auf leicht perturbierten Datensätzen ${\mathcal{L}}^{\prime }$ trainiert wurden.

Konkrete Umsetzung, die am besten funktioniert: iid $N(0,{\alpha }^2)$-Rauschen $\{{\epsilon }_n\}$ zu den $y$-Werten addieren, viele solche perturbierten Datensätze ${\mathcal{L}}^{\prime }$ erzeugen, regularisierte Sequenzen berechnen und mitteln.

Kognitive Brücke: Dieses Rezept „Daten perturbieren → viele Modelle trainieren → Mittelwert bilden” ist strukturell identisch mit Bagging (Bre96a) — dort wird die Perturbation über Bootstrap-Stichproben statt Rausch-Addition erzeugt.

---

Section 2. Organization / Section 3. Definitions

• Vier untersuchte Regressionsverfahren: Best-Subset/Stepwise, Ridge, Non-negative Garotte, nn-Garotte.
• Zwei PE-Definitionen: Random $X$ (Daten iid) vs. Controlled $X$ (Design fest).
• Drei PE-Schätzer:
  • Test-Set: direkte Berechnung auf iid-Testdaten.
  • Cross-Validation: Leave-one-out oder Leave-many-out (Section 7 zeigt: Leave-many-out ist bei instabilen Verfahren besser).
  • Little Bootstrap: additiv-perturbatives Verfahren; Theorem 3.1 gibt Ausdruck $B_t(s)=\frac{1}{t^2}{E}_{\epsilon }(\epsilon ,{\hat{\mu }}^{\prime })$ als unverzerrten Schätzer.

---

Section 4. Analytic Results ($X^{t}X=I$)

Analytische Herleitung der prediktiven Loss für die vier Regressionsverfahren im Spezialfall $X^{t}X=I$. Kernergebnis (grobe Skalierung, S. 2378):

• Ridge: $E(\mathrm{PL})\sim M^{1/3}$ (moderat)
• Subset-Selection: $ME(\mathrm{PL})\sim M^{3/7}$ (stärker) — analytische Bestätigung der Instabilität.

(Dimensionalität $M$ = Anzahl der Kandidaten-Variablen.)

---

Section 5. Simulation Results (Controlled $X$)

Simulierte Daten mit realistischem $X^{\prime }X$: Instabilitäts- und Stabilisierungs-Effekte bestätigen die Analytik. Stabilisierung reduziert die PL von Subset-Selection deutlich.

---

Section 6. Random $X$ Case + Section 6.1 Stabilization

Vollstandige Simulation mit Cross-Validation als PE-Schätzer.

Stabilisierungs-Experiment (S. 2369):

Verfahren	Ø prediktive Loss
Subset-Selection (unstabilisiert)	10,5
Subset-Selection stabilisiert (Averaging über 30 Sets)	7,1 (Reduktion: 32 %)
Averaging über 60 Sets	6,7
Stabilisierung durch $y$-Perturbation + 50-faches Averaging	4,9
Ridge (nativ stabil)	3,6
Garotte (nativ stabil)	4,3
nn-Garotte	3,1

Fazit: Perturbation der $y$-Werte und Averaging ist die wirksamste Stabilisierungs-Methode; kombiniert man $y$- und $\mathbf{x}$-Perturbation, wird das Ergebnis vermutlich noch besser.

---

Section 7. Leave-One-Out vs. Leave-Many-Out (S. 2369-2372)

Kernbefund: Leave-one-out-Cross-Validation ist bei instabilen Verfahren systematisch schlechter als Leave-many-out.

Grund: Bei instabilen Verfahren kann selbst das Entfernen eines einzigen Datenpunkts den Minimierer stark verschieben — ${\hat{\mu }}^{(-\mathcal{T})}$ ist dann weit von $\hat{\mu }$ entfernt, und $\widehat{\mathrm{PE}}(s)$ mittelt über schlecht korrelierte Predictor-Ausprägungen (Fig. 12 vs. Fig. 13: bei Subset-Selection ist die $ME$-Streuung ~10× größer als die RSS-Streuung, bei Garotte etwa gleich).

Zahlen (S. 2370):

Verfahren	Ø PL	Ø Downward Bias
Subset + Leave-ten-out	10,5	6,5
Subset + Leave-one-out	11,6	19,2

Die höhere Varianz von Leave-one-out überwiegt seinen niedrigeren Bias-Vorteil.

---

Section 8. Comparing Predictors

Simulierter Datensatz mit 30 Variablen und variabler Anzahl relevanter Koeffizienten (Cluster-Radius 1–5). Ergebnisse (Fig. 16–18):

• Alle Verfahren außer Ridge haben ähnliche Crystal-Ball-Modellfehler ($ME$).
• Subset-Selection verliert durch hohe prediktive Loss (Fig. 18: bis zu 20 bei Cluster-Radius 5).
• Ridge verliert durch hohe Crystal-Ball-$ME$ bei gemischten Koeffizienten.
• Beste Verfahren: Garotte und Stabilisierung — Kombination aus Stabilität und Anpassungsfähigkeit.

---

Section 9. Concluding Remarks (S. 2374)

• Stabilisierung funktioniert, hat aber Grenzen: die stabilisierte Subset-Wahl ist kein einfacher, sondern ein Averaging-Konstrukt.

• Für nichtlineare Verfahren (CART, MARS, NN) gibt es keine einfachen stabilen Alternativen. Hier ist Stabilisierung besonders wertvoll.

• Explizite Brücke zu Bagging:

  „Breiman (1996b, c) shows that stabilizing CART leads to dramatic improvements in accuracy.”

• Ausblick: Stacking als alternative Kombinationsstrategie (Wolpert 1992, Breiman 1996a).

---

Zusammenfassung — was Du wissen musst

Wenn Du morgen 5 Sätze über Bre96b sagen musst, sind es diese:

1. Bre96b definiert Instabilität heuristisch als „kleine Änderung in $\mathcal{L}$ → große Änderung in $\{\hat{\mu }(\cdot ,s,\mathcal{L})\}$” (S. 2354).
2. Als instabil gelten: Subset-Selection, CART, MARS, neuronale Netze. Stabil sind: Ridge und $k$-NN.
3. Instabilität kostet Vorhersagegüte: Sie führt zu großer prediktiver Loss — dem Fehler-Zuwachs zwischen der besten möglichen (Crystal-Ball-)Wahl und der realen, endlichen Schätzung.
4. Stabilisierung funktioniert: Perturbation der Daten + Averaging über viele Predictor-Sequenzen reduziert die PL empirisch um 30–55 %. Das ist die konzeptuelle Vorstufe zu Bagging.
5. Bre96b → Bre96a: Section 9 verweist explizit auf Bre96a (Bagging), das die Stabilisierungs-Idee auf CART überträgt — mit „dramatischen” Genauigkeitsverbesserungen. Deshalb ist Bre96b die Primärquelle für die Instabilitäts-Aussage in Kap. 4.1 der Zulassungsarbeit.

---

Formales Referenzblatt

Symboltabelle

Symbol	Aussprache / Name	Bedeutung
$\mathcal{L}$	„skript L”	Learning set — Trainingsdaten $\{(y_n,{\mathbf{x}}_n),n=1,\dots ,N\}$
$\mathcal{T}$	„skript T”	Test set — unabhängige Testdaten $\{(y_n^{\prime },{\mathbf{x}}_n^{\prime }),n=1,\dots ,N^{\prime }\}$
$\mathcal{U}$	„skript U”	Große Funktionenklasse (z.B. alle Polynome vom Grad ≤ 10)
${\mathcal{U}}_s$	„skript U-s”	Regularisierter Unterraum, indexiert durch Komplexitäts-Parameter $s$; geschachtelt: $s\le s^{\prime }\Rightarrow {\mathcal{U}}_s\subset {\mathcal{U}}_{s^{\prime }}$
$s$	„klein s”	Komplexitäts-Parameter — steuert Modellklasse (kleiner $s$ = einfacher/glatter)
$s^{\ast }$	„s Stern”	Crystal-Ball-Wahl — theoretisch optimaler Parameter bei unendlichem Test-Set
$\hat{s}$	„s Dach”	Fallible estimate — praktisch geschätzter Parameter aus $\widehat{\mathrm{PE}}$
$\mu (\mathbf{x},\mathcal{L})$	„mü von x, skript L”	Predictor-Funktion, trainiert auf $\mathcal{L}$
$\hat{\mu }(\cdot ,s)$	„mü Dach”	Minimierer von $\Vert y-\mu {\Vert }^2$ innerhalb ${\mathcal{U}}_s$
$\hat{\mu }(\cdot ,s,\mathcal{L})$	„mü Dach von s, L”	Explizite Data-Abhängigkeit — für die Instabilitäts-Definition
${\hat{\mu }}_{ST}(\cdot ,s)$	„mü Dach ST”	Stabilisierter Predictor — Mittel über perturbierte Trainingsdaten
${\mu }^{\ast }$	„mü Stern”	Wahres Modell — datenerzeugende Funktion
$\mathrm{PE}(\mu )$	„P-E”	Prediction Error — erwarteter quadrierter Fehler auf $\mathcal{T}$
$\widehat{\mathrm{PE}}$	„P-E Dach”	Schätzer für $\mathrm{PE}$ (Test-Set, Cross-Validation, Little Bootstrap)
$\mathrm{RSS}(\mu )$	„R-S-S”	Residual Sum of Squares — Trainingsfehler ${\sum }_n(y_n-\mu ({\mathbf{x}}_n){)}^2$
$\mathrm{PL}$	„P-L”	Predictive Loss — Kosten der ungenauen Modellwahl: $\mathrm{PL}=\mathrm{PE}(\hat{s})-\mathrm{PE}(s^{\ast })$
$\mathrm{ME}$	„M-E”	Model Error — quadrischer Abstand zum wahren Modell: $\Vert \mu -{\mu }^{\ast }{\Vert }^2$
$B_t(s)$	„B-t”	Little Bootstrap-Estimate für die PE-Bias-Korrektur
${\epsilon }_n$, ${\epsilon }_n^{\ast }$	„epsilon-n”	Rausch-Terme; ${\epsilon }_n^{\ast }$ = wahre Rauschkomponente in $y_n$; ${\epsilon }_n$ = künstliche Perturbation
$N$, $N^{\prime }$	„N, N-strich”	Größe von $\mathcal{L}$ bzw. $\mathcal{T}$
$M$	„M”	Anzahl der Kandidaten-Variablen (Dimensionalität des Feature-Raums)
${\hat{\beta }}_m$	„beta-m Dach”	OLS-Koeffizient für Variable $m$ (Full-Model)

Formeln und ihre Bedeutung

(1) Prediction Error (Test-Set-Version):

$\mathrm{PE}(\mu )\approx \frac{1}{N^{\prime }}{\sum }_n(y_n^{\prime }-\mu ({\mathbf{x}}_n^{\prime },\mathcal{L}){)}^2$

Was sie sagt: Empirisches Mittel des quadrierten Vorhersage-Fehlers über den Test-Set — Standard-Zielgröße jeder Prognose.

(2) Residual Sum of Squares:

$\mathrm{RSS}(\mu )=\Vert y-\mu {\Vert }^2={\sum }_n(y_n-\mu ({\mathbf{x}}_n){)}^2$

Was sie sagt: Trainingsfehler des Predictors auf $\mathcal{L}$. Wird zur Auswahl von $\hat{\mu }$ innerhalb ${\mathcal{U}}_s$ minimiert.

(3) Regularisierungs-Sequenz:

$\hat{\mu }(\cdot ,s)=\arg {\min }_{\mu \in {\mathcal{U}}_s}\Vert y-\mu {\Vert }^2$

Was sie sagt: Für jeden Komplexitäts-Parameter $s$ wählt man den RSS-Minimierer im entsprechenden Unterraum ${\mathcal{U}}_s$.

(4) Crystal-Ball-Wahl vs. Fallible Estimate:

$s^{\ast }=\arg {\min }_s\mathrm{PE}(s),\hat{s}=\arg {\min }_s\widehat{\mathrm{PE}}(s)$

Was sie sagt: $s^{\ast }$ wäre ideal, ist aber nicht beobachtbar. $\hat{s}$ ist die reale Wahl.

(5) Predictive Loss — die zentrale Zielgröße:

$\mathrm{PL}=\mathrm{PE}(\hat{s})-\mathrm{PE}(s^{\ast })$

Was sie sagt: Wie viel Genauigkeit verlieren wir, weil wir keinen Crystal Ball haben? Für instabile Verfahren ist dieser Verlust groß, für stabile klein.

(6) Heuristische Definition Instabilität:

Ein Verfahren ist instabil, wenn für kleine $\epsilon$-Änderungen an $\mathcal{L}$ gilt:

$\hat{\mu }(\cdot ,s,\mathcal{L})\not\approx \hat{\mu }(\cdot ,s,\mathcal{L}+\epsilon )$

Was sie sagt: Die Modell-Ausgabe reagiert empfindlich auf Datenänderungen — kein präzises Distanzmaß, deshalb „heuristisch”.

(7) Stabilisierung durch Averaging:

${\hat{\mu }}_{ST}(\cdot ,s)={\mathrm{Av}}_{d({\mathcal{L}}^{\prime },\mathcal{L})\le \delta }\hat{\mu }(\cdot ,s,{\mathcal{L}}^{\prime })$

Was sie sagt: Mittele Predictoren, die auf Datensätzen innerhalb $\delta$-Radius um $\mathcal{L}$ trainiert wurden — der Mittelwert ist stabiler.

(8) Konkrete Umsetzung (Perturbation der $y$-Werte):

${\mathcal{L}}^{\prime }=\{(y_n+{\epsilon }_n,{\mathbf{x}}_n),n=1,\dots ,N\},{\epsilon }_n\sim N(0,{\alpha }^2)$

${\hat{\mu }}_{ST}(\cdot ,s)={\mathrm{Av}}_{{\mathcal{L}}^{\prime }}\hat{\mu }(\cdot ,s,{\mathcal{L}}^{\prime })$

Was sie sagt: Praktisch: künstliches Gauß-Rauschen zu den Labels addieren, viele solche perturbierten Datensätze erzeugen, das arithmetische Mittel der Predictoren nehmen. Strukturidentisch zu Bagging (dort wird die Perturbation über Bootstrap-Sampling statt Rausch-Addition erzeugt).

(9) $C_p$-Schätzer für PE (Referenz):

$\widehat{\mathrm{PE}}(k)=\mathrm{RSS}(k)+2{\hat{\sigma }}^{2}k$

Was sie sagt: Akaike-Typ-Schätzer für die PE bei Subset-Selection mit $k$ Nichtnull-Koeffizienten. Breiman merkt an, dass diese Schätzer bei moderatem $N/M$-Verhältnis unzureichend sind.

---

Zusammenhänge

• Zitat-Index: zitat-index
• Aktueller Zitat-Katalog: zitat-kontexte
• Quellenkarte: Bre96b
• Aufbauend auf: bfos84-zusammenfassung (CART als das explizit als instabil gelistete Baumverfahren)
• Vorbereitet: bre96-zusammenfassung (Bagging = konkrete Anwendung der Bre96b-Stabilisierungs-Heuristik auf CART), bre01-zusammenfassung (Random Forests als Weiterentwicklung)
• Unsere Arbeit: Kap. 4.1 (Instabilitäts-Definition als Motivation für Ensembles), Kap. 2.4 (Zeitstrahl)