Kapitel 4 — Quellen-Lektüre

Kap. 4 (Ensembleverfahren) belegt: Instabilität einzelner Bäume, Bagging (Bootstrap Aggregating), Random Forests (Bagging + zufällige Merkmalsauswahl), Out-of-Bag-Fehlerschätzung, Permutation Importance.

Betroffene Primärquellen

#QuelleZusammenfassungFokus für Kap. 4
1Bre96a (Breiman 1996)bre96-zusammenfassungAggregation-Wirkung (S. 123 M1), Bagging-Definition + Namensgebung (S. 123 M2), Instabilität (S. 124 M1), Bagging-Bedingung (S. 124 M2), Fehlerreduktionen 6–77 % (S. 125 ff.), 50/25 Bootstrap-Bäume (S. 135)
2Bre01 (Breiman 2001)bre01-zusammenfassungRandom-Forest-Definition (S. 6 M1), Stärke + Korrelation (S. 6 M2), Out-of-Bag-Fehlerschätzung (S. 11 M1), Forest-RI-Verfahren (S. 11 M2), Permutation Importance (S. 23 f.)

Lernfragen

  1. Erkläre in eigenen Worten, warum Bagging bei Entscheidungsbäumen stark wirkt, bei k-Nearest-Neighbors aber kaum (Bre96a S. 124).
  2. Was ist der Unterschied zwischen Bagging und Random Forest? Wo genau greift die zusätzliche Zufälligkeit (Bre01 S. 11)?
  3. Wie funktioniert die Out-of-Bag-Fehlerschätzung? Warum ersetzt sie den separaten Testdatensatz (Bre01 S. 11)?
  4. Wie funktioniert Permutation Importance konkret? Ein Zahlenbeispiel wäre gut (Bre01 S. 23 f.).
  5. Der Ensemble-Fehler hängt nach Bre01 von zwei Größen ab — welchen? Kannst du die Trade-off-Aussage verteidigen?

Offener Punkt: Bre01 S. 23 f. Duplikat

Beide Vorkommen (Z. 177 + Z. 196 in 04_Ensembleverfahren.tex) verweisen auf dieselbe Passage (Permutation Importance). In der Lernphase entscheiden: zweiten Cite streichen oder als bewusster Rückverweis kennzeichnen. Siehe quellen-highlights.

Verlauf

Zusammenhänge