Grundlagen Entscheidungsbäume
Kompakter Merkzettel der Konzept-Ebene, aufgebaut aus dem sokratischen Lerndialog vom 2026-07-11. Ziel: schnelle Rückgriffs-Referenz beim Schreiben der Zulassungsarbeit. Keine zitierfertigen Formulierungen, sondern eigene didaktische Umschreibung — Formulierungen für die Arbeit werden vom Verfasser aus den Primär-/Sekundärquellen selbst geschrieben.
1. Was Maschinelles Lernen im Kern tut
Klassisch programmiert man Regeln explizit („wenn X, dann Y”). Beim Maschinellen Lernen kehrt man das um: Man gibt dem Algorithmus viele Beispiele mit bekannter Antwort und lässt ihn die Regeln selbst extrahieren. Nach dem Training kann er neue, unbekannte Fälle einordnen.
Vokabeln:
- Merkmal (Feature): eine messbare Eigenschaft eines Objekts
- Klasse (Label): die zu lernende Antwort
- Trainingsdaten: Beispiele mit bekannter Klasse, aus denen der Algorithmus lernt
- Testdaten: vom Training zurückgehaltene Beispiele, mit denen die Vorhersagequalität geprüft wird
2. Klassifikation vs. Regression
Beide sind überwachtes Lernen. Unterschied: was rauskommt.
- Klassifikation: Zielvariable ist eine Kategorie aus endlicher Menge (z. B. „kritisch” / „unkritisch”, oder mehrklassig P1/P2/P3/P4). Baum gibt am Blatt eine Klasse aus.
- Regression: Zielvariable ist eine stetige Zahl (z. B. Zeit bis Lösung in Minuten, Umsatzverlust in Euro). Baum gibt am Blatt einen numerischen Wert aus (typisch: Mittelwert der Trainingsbeispiele im Blatt).
Der strukturelle Algorithmus (rekursives Splitten) ist gleich. Unterschied sitzt im Split-Kriterium:
- Klassifikation: Klassenreinheit (Gini, Entropie)
- Regression: Varianz-Reduktion (mittlerer quadratischer Fehler)
CART (Breiman et al. 1984) heißt „Classification And Regression Trees” gerade deshalb — beide unter einem Dach.
3. Kern-Idee: Serie von Ja/Nein-Fragen
Ein Entscheidungsbaum ist eine Folge von Ja/Nein-Fragen an die Merkmale eines Objekts. Jeder innere Knoten prüft ein Merkmal, jedes Blatt liefert eine Antwort (Klasse oder Zahl). Analogie: „20 Fragen”-Spiel.
Beispiel-Skizze mit Incident-Tickets:
Sind mehr als 50 Nutzer betroffen?
/ \
JA NEIN
| |
→ KRITISCH Ist der Mailserver betroffen?
/ \
JA NEIN
| |
→ KRITISCH außerhalb der
Geschäftszeit?
/ \
JA NEIN
| |
→ KRITISCH → UNKRITISCH
Der Trick: den Baum baut der Algorithmus selbst aus den Trainings- Tickets — man muss die Fragen nicht formulieren.
4. Wie der Algorithmus splittet: Reinheit
An jedem Knoten:
- Alle möglichen Fragen an alle Merkmale werden simuliert.
- Für jede Frage wird gemessen, wie rein die entstehenden zwei Gruppen wären.
- Die Frage mit der größten Reinheits-Verbesserung gewinnt.
- Rekursiv wiederholt für jede entstehende Gruppe.
Gini-Index ist das gängigste Reinheitsmaß (CART):
Anschaulich: „Wahrscheinlichkeit, ein blind gezogenes Element bei blindem Raten falsch zu klassifizieren.” Rein = 0, halb-halb (bei 2 Klassen) = 0,5.
Randnotiz — nicht mehr im Manuskript-Scope: Historisch existiert mit der Shannon-Entropie () ein zweites Reinheitsmaß, das in Quinlans ID3/C4.5 als Information Gain zum Split-Kriterium wird. In der PNRB15-Fokusversion der Zulassungsarbeit ist dieser Strang nicht mehr enthalten; belegt wird ausschließlich der Gini-Index aus BFOS84.
Für Regression: Split-Kriterium ist typisch die Reduktion der Varianz bzw. des mittleren quadratischen Fehlers innerhalb der resultierenden Blätter.
Abbruchkriterien für das rekursive Splitten:
- Gruppe ist bereits rein
- Gruppe unter Mindestgröße (z. B. weniger als 5 Beispiele)
- vorgegebene maximale Baumtiefe erreicht
- keine merkliche Reinheits-Verbesserung mehr möglich
5. Overfitting und Pruning
Ohne Grenzen wächst der Baum so lange, bis jedes Trainingsbeispiel ein eigenes Blatt hat. Trainingsgenauigkeit dann 100 %, aber der Baum hat Rauschen und Einzelfall-Regeln gelernt statt echter Muster. Auf neuen Daten schlecht → Overfitting.
Zwei Gegenmittel:
- Pre-Pruning (Vorstopp): Beim Bauen Grenzen setzen — maximale Tiefe, Mindest-Blattgröße, Mindest-Reinheitsgewinn pro Split.
- Post-Pruning (Nachschneiden): Erst voll wachsen lassen, dann Äste entfernen, wenn der Fehler auf Validierungsdaten dadurch nicht schlechter wird. Bei CART: Cost-Complexity Pruning, gesteuert über den Regularisierungs-Parameter α.
6. Random Forest
Ein einzelner Baum ist hoch-variant: kleine Änderungen an den Trainingsdaten liefern völlig andere Bäume, entsprechend instabile Vorhersagen. Random Forest (Breiman 2001) mittelt das aus, indem viele Bäume gebaut werden und ihre Antworten per Mehrheitsvotum (Klassifi- kation) bzw. Mittelwert (Regression) kombiniert werden.
Damit die Bäume unterschiedlich sind — und damit ihre Fehler sich wegmitteln statt sich zu verstärken — kommen zwei Zufalls-Mechanismen zum Einsatz:
Mechanismus 1 — Bagging (Bootstrap Aggregation)
Jeder Baum bekommt eine eigene Trainings-Stichprobe: aus dem Original-Pool werden Beispiele mit Zurücklegen gezogen, wobei = Größe des Originalpools. Etwa zwei Drittel der Beispiele landen im Bootstrap-Sample (mit Duplikaten), das restliche Drittel fehlt jeweils.
Mechanismus 2 — Zufällige Merkmals-Auswahl an jedem Split
An jedem Split-Punkt darf der Algorithmus nur aus einer zufälligen Teilmenge der Merkmale wählen. Typische Größe der Teilmenge:
- Klassifikation:
- Regression:
(mit = Gesamtzahl der Merkmale)
Dieser zweite Mechanismus ist entscheidend: ohne ihn würden alle Bäume dasselbe dominante Merkmal an der Wurzel wählen und trotz Bagging stark korreliert bleiben. Erst die zufällige Merkmals-Auswahl dekorreliert die Bäume.
Trade-Off
- Gewinn: deutlich höhere Vorhersagegüte als ein Einzel-Baum, robust gegen Overfitting durch die Mittelung
- Verlust: Interpretierbarkeit. Ein Einzel-Baum ist grafisch darstellbar und regelweise erklärbar. Ein Wald aus 500 Bäumen ist eine Black Box. Für Domänen mit Erklärpflicht (Medizin, Kreditvergabe, DSGVO Art. 22) ist das ein zentrales Argument gegen Random Forest bzw. ein Grund für nachgelagerte Erklär-Verfahren wie SHAP oder LIME.
Bezug zur Arbeit — Primärquellen pro Aussage
Kernregel gemäß literatur-hierarchie: Lehrbücher sind Sekundärliteratur, Primärquellen aus deren Verzeichnis werden zitiert. Die folgende Tabelle bindet jede Kern-Aussage dieses Merkzettels an ihre Primärquelle. Beim Schreiben ist die Primärquelle zu zitieren, nicht das Lehrbuch, aus dem der Stoff verstanden wurde.
| Aussage/Konzept | Primärquelle (zu zitieren) |
|---|---|
| CART, Gini-Index, rekursive Partitionierung, Regressionsbäume, Cost-Complexity Pruning | Breiman/Friedman/Olshen/Stone 1984 (BFOS84) |
| Instabilität einzelner Regularisierungsverfahren, Perturbation + Aggregation als Stabilisierungs-Heuristik | Breiman 1996 (Bre96b) |
| Bagging (Bootstrap Aggregation) | Breiman 1996 (Bre96a) |
| Random Forest (Bagging + Feature-Subsampling), Out-of-Bag-Fehler, Permutation Importance | Breiman 2001 (Bre01) |
| SMOTE (Synthetic Minority Over-sampling), Kombination mit Undersampling | Chawla/Bowyer/Hall/Kegelmeyer 2002 (CBHK02) |
| Predictive-Maintenance-Fallstudie (Random Forests, Volvo-LKW-Kompressor), ökonomische Bewertung über Profitfunktion | Prytz et al. 2015 (PNRB15) |
Die Zulassungsarbeit zitiert ausschließlich diese sechs Sach-Quellen (PNRB15-Fokusversion). Historisch entfernte Quellen (Sha48, Qui86, Qui93, RS04) siehe index und review-log. Sekundärliteratur (Standardlehrbücher) diente nur der Recherche-Orientierung und wurde am 2026-07-26 aus dem Vault entfernt.
Kapitel-Zuordnung
- Kap. 2 Grundlagen: Abschnitte 1–3 dieses Merkzettels. Zitat auf CART (BFOS84).
- Kap. 3 Funktionsprinzipien: Abschnitte 4–5 (Gini, Regressionsbäume, Overfitting, Post-Pruning). Zitat: BFOS84.
- Kap. 4 Ensembleverfahren: Abschnitt 6 (Random Forest). Zitate: Bre96b (Instabilität), Bre96a (Bagging), Bre01 (Random Forests). SMOTE in Kap. 4.4 (CBHK02).
- Kap. 5 Anwendung: PNRB15-Fallstudie (Predictive Maintenance, Volvo-LKW-Kompressor).
Zusammenhänge
- Themen-Übersicht: index
- Zulassungsarbeit: arbeit
- Lernmaterial: index
- Zitierstil: zitierstil
- Literatur-Hierarchie: literatur-hierarchie