Bre96a (Breiman 1996) — Deutsche Zusammenfassung

Breiman 1996 — Bagging Predictors

Vollständige Referenz: Leo Breiman, „Bagging Predictors”, Machine Learning 24, S. 123–140, 1996.

Für die Zulassungsarbeit

Kernbotschaft: Bagging (Bootstrap Aggregating) mittelt Vorhersagen mehrerer Bäume, die auf Bootstrap-Stichproben trainiert wurden, und senkt so die Varianz — aber nur bei instabilen Basis-Verfahren wie Entscheidungsbäumen. Fehlerreduktionen liegen empirisch zwischen 6 und 77 Prozent; als praxis-taugliche Anzahl nennt Breiman 50 Bäume für Klassifikation und 25 für Regression.

Zitat-Landkarte (Stand 2026-08-11)

Chronologische Gesamt-Übersicht aller Zitate der Arbeit: zitat-index.

Hinweis zum Bibkey-Swap 2026-08-08: Bre96a bezeichnet nach dem Swap Bagging (Machine Learning 24, S. 123–140), Bre96b die Heuristics-of-Instability-Arbeit. Alle Bagging-Belege liegen damit in Bre96a.

\cite-Stellen (verifiziert)

Manuskript-Kap. / Zeile	Aussage	Zitatmarker
Kap. 2.4 Z. 318	Bibliografische Nennung Breiman 1996 (Bagging) im Zeitstrahl	\cite{Bre96a}
Kap. 4.2 Z. 49	Bagging-Definition: Bootstrap-Sampling + Aggregation + Namensgebung „bootstrap aggregating” → „bagging”	\cite[S.~123]{Bre96a}
Kap. 4.2 Z. 57	Empirie: Fehlerreduktionen 6–77 % (Klassifikation) und 21–46 % (Regression)	\cite[S.~124]{Bre96a}
Kap. 4.2 Z. 64	Voraussetzung Instabilität: Bagging schadet bei stabilen Verfahren geringfügig, hilft bei instabilen Bäumen deutlich	\cite[S.~124]{Bre96a}
Kap. 4.2 Z. 66	Trade-off: einfache und interpretierbare Baumstruktur verloren, höhere Vorhersagegenauigkeit gewonnen	\cite[S.~137]{Bre96a}

(Kap. 6.2 Z. 75 nutzt denselben \cite[S.~137]{Bre96a} als Zweitverweis in der Grenzen-Diskussion — hier nicht separat aufgeführt, weil identische Belegstelle.)

\cite[S.~123]{Bre96a} — Bagging-Definition + Aggregation + Namensgebung (Kap. 4.2 Z. 49)

Manuskript-Aussage: Das Verfahren zieht aus der Trainingsmenge wiederholt Bootstrap-Stichproben und baut für jede einen separaten Entscheidungsbaum auf; die Vorhersage des Ensembles ergibt sich durch Aggregation der Einzelbaumvorhersagen: bei Klassifikationsaufgaben durch Mehrheitsvotum, bei Regressionsaufgaben durch Mittelwertbildung.

Originalwortlaut (S. 123): „Take repeated bootstrap samples $\{{\mathcal{L}}^{(B)}\}$ from $\mathcal{L}$, and form $\{\phi (\mathbf{x},{\mathcal{L}}^{(B)})\}$. If $y$ is numerical, take ${\phi }_B$ as ${\phi }_B(\mathbf{x})={\mathrm{av}}_B\phi (\mathbf{x},{\mathcal{L}}^{(B)})$. If $y$ is a class label, let the $\{\phi (\mathbf{x},{\mathcal{L}}^{(B)})\}$ vote to form ${\phi }_B(\mathbf{x})$. We call this procedure ‚bootstrap aggregating’ and use the acronym bagging.”

Deutsche Übersetzung: „Ziehe wiederholt Bootstrap-Stichproben $\{{\mathcal{L}}^{(B)}\}$ aus $\mathcal{L}$ und bilde die Modelle $\{\phi (\mathbf{x},{\mathcal{L}}^{(B)})\}$. Ist $y$ numerisch, verwende ${\phi }_B$ als Mittelwert ${\phi }_B(\mathbf{x})={\mathrm{av}}_B\phi (\mathbf{x},{\mathcal{L}}^{(B)})$. Ist $y$ ein Klassenlabel, lass die $\{\phi (\mathbf{x},{\mathcal{L}}^{(B)})\}$ zur Bildung von ${\phi }_B(\mathbf{x})$ abstimmen. Wir nennen dieses Verfahren ‚bootstrap aggregating’ und verwenden das Akronym Bagging.”

Begründung Passung: Deckt drei Bausteine in einer Passage ab: (i) Bootstrap-Sampling-Idee, (ii) Aggregations-Regel für beide Aufgabentypen, (iii) Namensgebung. Der Folgesatz präzisiert: „replicate data sets, each consisting of $N$ cases, drawn at random, but with replacement, from $\mathcal{L}$” — Grundlage für „gleich groß wie Original-Trainingsmenge, mit Zurücklegen”.

\cite[S.~124]{Bre96a} — Fehlerreduktionen + Instabilitäts-Voraussetzung (Kap. 4.2 Z. 57 und Z. 64)

Manuskript-Aussagen: (Z. 57) Fehlerreduktionen 6–77 % (Klassifikation) und 21–46 % (Regression). (Z. 64) Bagging schadet bei stabilen Verfahren, hilft bei instabilen Bäumen.

Originalwortlaut (S. 124, Introduction-Übersichtspassage): „For unstable procedures bagging works well. In Section 2 we bag classification trees on a variety of data sets. The reduction in test set misclassification rates ranges from 6% to 77%. In Section 3 regression trees are bagged with reduction in test set mean squared error on data sets ranging from 21% to 46%. […] On the other hand, it can slightly degrade the performance of stable procedures.”

Deutsche Übersetzung: „Für instabile Verfahren funktioniert Bagging gut. […] Die Fehlerreduktion in den Test-Fehlklassifikationsraten reicht von 6 % bis 77 %. […] Bei Regressionsbäumen liegen die Reduktionen der mittleren quadratischen Testfehler zwischen 21 % und 46 %. […] Bei stabilen Verfahren kann es die Leistung leicht verschlechtern.”

Begründung Passung: Alle zwei zitierten Aussagen (Fehlerreduktionsspannen + Instabilitäts-Kontrast mit „slightly degrade for stable procedures”) stehen in einer zusammenhängenden Überblickspassage. Erspart Zitate auf die Detail-Tabellen 2 und 5.

\cite[S.~137]{Bre96a} — Trade-off Interpretierbarkeit vs. Genauigkeit (Kap. 4.2 Z. 66)

Manuskript-Aussage: Die einfache und interpretierbare Baumstruktur geht verloren, gewonnen wird höhere Vorhersagegenauigkeit.

Originalwortlaut (S. 137, Section 6.5 „Conclusions”): „What one loses, with the trees, is a simple and interpretable structure. What one gains is increased accuracy.”

Deutsche Übersetzung: „Was man mit den Bäumen verliert, ist eine einfache und interpretierbare Struktur. Was man gewinnt, ist höhere Genauigkeit.”

Begründung Passung: Wortgetreue Übernahme des Trade-off-Satzes aus Breimans Conclusions.

\cite{Bre96a} — Bibliografische Nennung im Zeitstrahl (Kap. 2.4 Z. 318)

Manuskript-Aussage: Nennung von Breiman 1996 (Bagging) im chronologischen Zeitstrahl. Originalwortlaut: Bibliografische Nennung ohne Seitenbezug — kein konkreter Zitatwortlaut. Begründung Passung: Reine bibliografische Nennung der Primärquelle im Zeitstrahl-Kontext.

---

Abstract

Kern-Aussagen des Abstracts:

1. Bagging erzeugt mehrere Modell-Versionen und kombiniert sie zu einem aggregierten Modell.
2. Bei numerischen Vorhersagen: Mittelwert; bei Klassifikation: Mehrheitsvotum (plurality vote).
3. Empirisch belegte Genauigkeitsgewinne (Kernaussage der Arbeit).

Die Namensgebung „bootstrap aggregating” → Kurzform „bagging” wird im Abstract eingeführt.

---

Section 1. Introduction

Ausgangslage: Angenommen, wir hätten viele unabhängige Trainingsmengen L₁, L₂, L₃, … aus derselben zugrundeliegenden Datenverteilung. Dann könnten wir auf jeder ein eigenes Modell trainieren und die Vorhersagen mitteln. Das Problem: In der Praxis haben wir meist nur eine einzige Trainingsmenge L.

Bagging-Idee: Bootstrap-Sampling simuliert diese unabhängigen Trainingsmengen — Ziehen mit Zurücklegen aus L, jede Bootstrap-Stichprobe wieder von Größe $N$; jedes so trainierte Modell liefert eine Vorhersage, die dann gemittelt oder per Mehrheitsvotum kombiniert wird.

Instabilitäts-Beobachtung

Instabile Verfahren (nach Breiman 1994): Neuronale Netze, Klassifikations- und Regressionsbäume, Subset-Selection in linearer Regression. Stabile Verfahren: $k$-nearest neighbor.

Bagging bei instabilen Verfahren

Konsequenz: Bagging verbessert nur instabile Verfahren. Bei stabilen Verfahren (kNN) bringt es fast nichts oder schadet leicht.

Vorschau auf Ergebnisse: Klassifikationsbäume 6–77 % Fehlerreduktion; Regressionsbäume 21–46 %.

---

Section 2. Bagging Classification Trees

Experimentelle Bewertung an Klassifikationsbäumen.

Moderat große Datensätze — Table 2

Sieben klassische UCI-Datensätze (waveform, heart, breast cancer, ionosphere, diabetes, glass, soybean); pro Datensatz Einzelbaum-Fehler $e_S$, Bagging-Fehler $e_B$, Reduktion:

Datensatz	$e_S$	$e_B$	Reduktion
waveform	29,1 %	19,3 %	34 %
heart	4,9 %	2,8 %	43 %
breast cancer	5,9 %	3,7 %	37 %
ionosphere	11,2 %	7,9 %	29 %
diabetes	25,3 %	23,9 %	6 %
glass	30,4 %	23,6 %	22 %
soybean	8,6 %	6,8 %	21 %

Der Wert 6 % (diabetes) ist das Minimum (Breiman-Erklärung: der Datensatz ist bereits nah am mathematisch Möglichen).

Statlog-Datensätze — Table 5

Vier größere Statlog-Datensätze (letters, satellite, shuttle, DNA):

Datensatz	$e_S$	$e_B$	Reduktion
letters	12,6 %	6,4 %	49 %
satellite	14,8 %	10,3 %	30 %
shuttle	0,062 %	0,014 %	77 %
DNA	6,2 %	5,0 %	19 %

Der Wert 77 % (shuttle) ist das Maximum und die Obergrenze der Fließtext-Aussage „6 % bis 77 %“.

---

Section 3. Bagging Regression Trees

Analoges Experiment für Regression: Fünf Datensätze (Boston Housing, Ozone, Friedman #1–3), Fehlerreduktion 21–46 %.

---

Section 4. Why Bagging Works

Theoretische Erklärung: Aggregation reduziert die Varianz (Bias bleibt gleich), Voraussetzung ist eine relevante Varianz des Einzelmodells; „order-correct”-Analyse für Klassifikation. Section 4.3 („Lernmenge als Test-Set nutzen”) ist die konzeptuelle Vorstufe zur Out-of-Bag-Fehlerschätzung, die erst in Bre01 systematisch ausgebaut wird.

---

Section 5. A Linear Regression Illustration

Bagging angewendet auf lineare Regression mit Subset-Selection.

---

Section 6. Concluding Remarks

50 Bäume für Klassifikation, 25 für Regression als praxis-taugliche Anzahl. Nicht mathematisch begründet, sondern empirisch bewährt.

---

Zusammenfassung — was Du wissen musst

Wenn Du morgen 5 Sätze über Bre96a sagen musst, sind es diese:

1. Bagging ist Bootstrap-Aggregation: mehrere Modelle auf leicht unterschiedlichen Bootstrap-Stichproben trainieren, Vorhersagen mitteln.
2. Aggregation reduziert die Varianz eines Modells (nicht den Bias). Ein einzelner Baum schwankt, das Ensemble aus 50 Bäumen ist stabil.
3. Bagging funktioniert nur bei instabilen Verfahren (Bäume, neuronale Netze). Bei stabilen Verfahren (kNN) bringt es nichts oder schadet.
4. Breimans Experimente: Fehlerreduktion 6 % bis 77 % über 11 Klassifikations-Datensätze; 50 Bäume als praxis-taugliche Anzahl.
5. Nebenbei-Beobachtung: Jeder Datenpunkt fehlt in ~1/3 der Bootstrap-Stichproben — diese können ohne separates Test-Set zur Fehlermessung genutzt werden. → Grundlage für Out-of-Bag in Bre01.

---

Formales Referenzblatt

Symboltabelle

Symbol	Aussprache / Name	Bedeutung
$\mathcal{L}$	„skript L”	Learning set — die vorhandene Trainingsmenge mit allen Datenpunkten
${\mathcal{L}}^{(B)}$	„skript L, B”	Bootstrap-Stichprobe — eine der vielen Zufalls-Ziehungen mit Zurücklegen aus $\mathcal{L}$; jede hat wieder $N$ Datenpunkte
$N$	„N”	Anzahl der Datenpunkte in $\mathcal{L}$
$(y_n,x_n)$	„y-n, x-n”	Ein einzelner Datenpunkt: Zielwert $y_n$ (Klasse oder Zahl) + Merkmalsvektor $x_n$
$\phi (x,\mathcal{L})$	„phi von x, skript L”	Ein Vorhersagemodell (Predictor), das auf Trainingsmenge $\mathcal{L}$ trainiert wurde
${\phi }_A(x)$	„phi A” (A wie „aggregated”)	Aggregierter Predictor — mittelt (bzw. votiert) über viele auf unabhängigen Trainingsmengen trainierte $\phi$; theoretisches Ideal
${\phi }_B(x)$	„phi B” (B wie „bootstrap”)	Bagged Predictor — praktische Umsetzung von ${\phi }_A$ mit Bootstrap-Stichproben
${\mathrm{av}}_B$	„average über B”	Mittelwert über alle $B$ Bootstrap-Modelle
$J$	„großes J”	Anzahl der möglichen Klassen (Klassifikation)
$j$	„kleines j”	Zählindex über Klassen ($j\in \{1,\dots ,J\}$)
$N_j$	„N-j”	Anzahl der Bagging-Bäume, die für Klasse $j$ gestimmt haben
$Q(j\mid x)$	„Q von j gegeben x”	Wahrscheinlichkeit, dass ein zufälliger auf $\mathcal{L}$ trainierter Predictor bei Eingabe $x$ die Klasse $j$ vorhersagt
$P(j\mid x)$	„P von j gegeben x”	Wahre Wahrscheinlichkeit, dass bei Eingabe $x$ die Klasse $j$ vorliegt
${\phi }^{\ast }(x)$	„phi Stern”	Bayes-Predictor — der theoretisch optimale Klassifikator
$I(\cdot )$	„Indikatorfunktion”	Gibt 1 wenn Bedingung wahr, sonst 0
$e_S$	„e-S” (S wie „single”)	Fehlerrate eines einzelnen Baums auf dem Testset
$e_B$	„e-B” (B wie „bagging”)	Fehlerrate des Bagging-Ensembles auf dem Testset
$\mathcal{T}$	„skript T”	Test-Set

Formeln und ihre Bedeutung

(1) Aggregation für numerische Vorhersagen (theoretisches Ideal):

${\phi }_A(x)={\mathbb{E}}_{\mathcal{L}}\phi (x,\mathcal{L})$

Was sie sagt: Mittelwert der Vorhersagen aller Modelle, die man aus unabhängig gezogenen Trainingsmengen $\mathcal{L}$ bekäme.

(2) Aggregation für Klassifikation:

${\phi }_A(x)=\arg {\max }_j{N}_j$

Was sie sagt: Die Klasse $j$, für die die meisten Modelle gestimmt haben, wird gewählt.

(3) Bagging für numerische Vorhersagen (praktische Umsetzung):

${\phi }_B(x)={\mathrm{av}}_B\phi (x,{\mathcal{L}}^{(B)})$

Was sie sagt: Weil man in der Praxis nur eine Trainingsmenge $\mathcal{L}$ hat, simuliert man mehrere durch Bootstrap-Sampling. Auf jede Bootstrap-Stichprobe ${\mathcal{L}}^{(B)}$ wird ein Modell trainiert, dann werden die Vorhersagen gemittelt.

(4) Wahrscheinlichkeitsdeutung eines Klassifikators:

$Q(j\mid x)=P(\phi (x,\mathcal{L})=j)$

Was sie sagt: Über viele unabhängige Trainingsmengen hinweg sagt der Klassifikator die Klasse $j$ mit Wahrscheinlichkeit $Q(j\mid x)$ vorher.

(5) Wahrscheinlichkeit korrekter Klassifikation:

${\sum }_{j}Q(j\mid x)\cdot P(j\mid x)$

(6) Bayes-Predictor:

${\phi }^{\ast }(x)=\arg {\max }_{j}P(j\mid x)$

(7) Fehlerreduktion:

$\text{Reduktion}=\frac{e_S-e_B}{e_S}$

Was sie sagt: Prozentuale Fehlerabnahme durch Bagging. Breiman berichtet 6 % bis 77 % über die 11 Datensätze.

---

Zusammenhänge

• Zitat-Index: zitat-index
• Aktueller Zitat-Katalog: zitat-kontexte
• Quellenkarte: Bre96a
• Aufbauend auf: bfos84-zusammenfassung (CART als Basisverfahren, dessen Instabilität Bagging überhaupt erst nötig macht)
• Vorbereitet: bre01-zusammenfassung (Random Forests als Weiterentwicklung von Bagging)
• Unsere Arbeit: Kap. 4.1 (Aggregation + Instabilität), Kap. 4.2 (Bagging-Definition, Fehlerspanne 6–77 %, 50/25-Faustregel), Kap. 5 (PM-Anwendung)