Inhaltlicher Cite-Abgleich (Manuskript vs. Highlight)
Für jeden Cite: Kontext-Satz aus Manuskript und Highlight-Text auf der belegten Seite.
BFOS84
\cite[S.~28\,f.]{BFOS84} — 02_Grundlagen.tex:70
Manuskript-Kontext: . Insbesondere die CART-Verfahren und die darauf aufbauenden Ensembleverfahren (Kapitel ) beschränken sich auf die binäre Form
Highlight (Article-S. 28): estim The four elements needed in the initial tree growing procedure were 1. A set 2 of binary questions of the form {Is x © a?}, A CX 2. A goodness of split criterion $(4, t) that can be evaluated for any split 4 of any node t
\cite[S.~23]{BFOS84} — 03_Funktionsprinzipien.tex:23
Manuskript-Kontext: . Breiman et al.\ formulieren als Ziel jeder Zerlegung, dass die Klassenverteilung in den entstehenden Teilmengen reiner ist als im Elternknoten
Highlight (Article-S. 23): The first problem in tree construction is how to use £ to deter- mine the binary splits of X into smaller and smaller pieces. The fundamental idea is to select each split of a subset so that the data in each of the descendant subsets are “purer” than the data in the parent subset.
\cite[S.~26, M2]{BFOS84} — 03_Funktionsprinzipien.tex:28
Manuskript-Kontext: : das Blatt erhält die häufigste Klasse der zugeordneten Trainingsdatenpunkte
Highlight (Article-S. 26): se To terminate the tree growing, a heuristic rule was designed. When a node t was reached such that no significant decrease in im- purity was possible, then t was not split and became a terminal node. The class character of a terminal node was determined by the plurality rule. Specifically, if p(jo|t) = max p(t), Jj then t was designated as a class jg terminal node.
\cite[S.~228]{BFOS84} — 03_Funktionsprinzipien.tex:30
Manuskript-Kontext: : das Blatt erhält die häufigste Klasse der zugeordneten Trainingsdatenpunkte [S. 26, M2]{BFOS84}; bei Regressionsaufgaben ist die Blattvorhersage ein konstanter Wert
Highlight (Article-S. 228): A tree structured predictor is similar to a tree structured clas- sifier. The space X is partitioned by a sequence of binary splits into terminal nodes (see Figure 8.2). In each terminal node t, the predicted response value y(t) is constant.
\cite[S.~30]{BFOS84} — 03_Funktionsprinzipien.tex:34
Manuskript-Kontext: Anschaulich lässt sich das Verfahren als fortschreitende Zerlegung des Merkmalsraums in achsenparallele Rechtecke beschreiben
Highlight (Article-S. 30): When fixed-dimensional data have only ordered variables, an- other way of looking at the tree structured procedure is as a re- cursive partitioning of the data space into rectangles.
\cite[S.~25]{BFOS84} — 03_Funktionsprinzipien.tex:104
Manuskript-Kontext: ind p_L = {|t|}, p_R = {|t|} die Größenanteile der beiden Teilmengen am Elternknoten (mit als Anzahl der Datenpunkte im jeweiligen Knoten), so ist die Güte des Splits als Abnahme der Impurität definiert
Highlight (Article-S. 25): Then the goodness of the split is defined to be the decrease in im- purity Ai(4, t) = i(t) - pit.) ~ Ppt (t,)-
\cite[S.~26, M1]{BFOS84} — 03_Funktionsprinzipien.tex:111
Manuskript-Kontext: definiert [S. 25]{BFOS84}: i(s, t) = i(t) - p_L , i(t_L) - p_R , i(t_R) Aus der Kandidatenmenge aller möglichen Splits am Knoten wird der Split gewählt, der diese Abnahme maximiert
Highlight (Article-S. 26): The tree was grown in the following way: At the root node ¢,, a search was made through all 5000 candidate splits to find that split 4* which gave the largest decrease in impurity; i.e., Ai(s*, t,) = max Ai(s, t,). SES
\cite[S.~228]{BFOS84} — 03_Funktionsprinzipien.tex:131
Manuskript-Kontext: . Innerhalb eines Blatts ist dieser Wert konstant
Highlight (Article-S. 228): A tree structured predictor is similar to a tree structured clas- sifier. The space X is partitioned by a sequence of binary splits into terminal nodes (see Figure 8.2). In each terminal node t, the predicted response value y(t) is constant.
\cite[S.~222]{BFOS84} — 03_Funktionsprinzipien.tex:138
Manuskript-Kontext: . An die Stelle einer klassenreinheitsbasierten Impurität wie des Gini-Index tritt der Fehler der Zielwerte im Knoten als Impuritätsmaß
Highlight (Article-S. 222): But for reasons having to do with ease of computations, the measure of accuracy classically used in regression is the averaged squared error, 2 ro ry \2 Y (yt - aQxt)) The methodology revolving about this measure is least squares re- gression.
\cite[S.~230]{BFOS84} — 03_Funktionsprinzipien.tex:140
Manuskript-Kontext: Stelle einer klassenreinheitsbasierten Impurität wie des Gini-Index tritt der Fehler der Zielwerte im Knoten als Impuritätsmaß [S. 222]{BFOS84}; als Blattvorhersage dient der Mittelwert der Zielwerte im Knoten und ersetzt die Plurality Rule der Klassifikation
Highlight (Article-S. 230): PROPOSITION 8.10. The value of y(t) that minimizes R(d) is the average of v for all cases (x uv falling into t; that is, the minimizing y(t) is u(t) = yay dou, where the sum is over all Yn such that x € t and N(t) is the total number of cases in t.
\cite[S.~231]{BFOS84} — 03_Funktionsprinzipien.tex:144
Manuskript-Kontext: . Die konkrete Formalisierung folgt derselben Struktur wie in den Gleichungen () und () und wird in dieser Arbeit nicht weiter aufgeschlüsselt
Highlight (Article-S. 231): DEFINITION 8.13. The best split 4* of t is that split in S which most decreases R(T). More precisely, for any split 4 of t into t. and te let AR(S, t) = R(t) - R(t,) - R(t,)- Take the best split 4* to be a split such that AR(S4*, t) = max AR(A4, t). SES
\cite[S.~103, M1]{BFOS84} — 03_Funktionsprinzipien.tex:161
Manuskript-Kontext: . In einer für die Baumklassifikation angepassten Form wurde er von Breiman et al.\ als Split-Kriterium in CART übernommen
Highlight (Article-S. 103): In later work the Gini diversity index was adopted. This has the form a(t) = } pGl|epeti[t) (4.8) j#i and can also be written as i(t) = (P pCy[t))* - Y pGilt) = 1 - Y pgle). (4.9) j j j
\cite[S.~103, M3]{BFOS84} — 03_Funktionsprinzipien.tex:174
Manuskript-Kontext: . Als Impuritätsfunktion ist der Gini-Index dann definiert als die geschätzte Fehlklassifikationswahrscheinlichkeit unter dieser Regel
Highlight (Article-S. 103): The Gini index has an interesting interpretation. Instead of using the plurality rule to classify objects in a node t, use the
\cite[S.~104, M1]{BFOS84} — 03_Funktionsprinzipien.tex:188
Manuskript-Kontext: . Die Summation dieser Varianzen über alle Klassen liefert die äquivalente und rechnerisch einfachere Darstellung
Highlight (Article-S. 104): rule that assigns an object selected at random from the node to class i with probability p(ilt). The estimated probability that the item is actually in class j is p(j|t). Therefore, the estimated probability of misclassification under this rule is the Gini index ) plile)pcsle). j#i
\cite[S.~103, M2]{BFOS84} — 03_Funktionsprinzipien.tex:194
Manuskript-Kontext: liefert die äquivalente und rechnerisch einfachere Darstellung [S. 104, M1]{BFOS84} i(t) = _j p(j|t) (1 - p(j|t)) = 1 - _j p^2(j|t). Im Zwei-Klassen-Fall reduziert sich der Gini-Index auf
Highlight (Article-S. 103): In the two-class problem, the index reduces to i(t) = 2p(1|t)p(2|t),
\cite[S.~104\,f., M2]{BFOS84} — 03_Funktionsprinzipien.tex:245
Manuskript-Kontext: Neben dem Gini-Index nennen Breiman et al.\ mit dem Twoing-Kriterium ein zweites Split-Maß, das speziell für Mehr-klas-sen-pro-ble-me entwickelt wurde
Highlight (Article-S. 104): Margolin, 1971). In a node t, assign all class j objects the value 1, and all other objects the value 0. Then the sample variance of these values is p(j|t)(1 - p(j|t)). If this is repeated for all J classes and the variances summed, the result is ) p(jje)(1 - pGa]e)) = 1 - } p*Gle). j j
\cite[S.~60]{BFOS84} — 03_Funktionsprinzipien.tex:261
Manuskript-Kontext: er Baum weist eine höhere wahre Fehlklassifikationsrate auf als ein passend dimensionierter (right sized) Baum, während ein zu kleiner Baum nicht die gesamte in den Trainingsdaten enthaltene Klassifikationsinformation nutzt und ebenfalls schlechter abschneidet
Highlight (Article-S. 60): In fact, stepwise regression simulations have shown that past a certain point, entry of additional variables will cause the true R* to decrease. The situation is similar with trees. Too large a tree will have a higher true misclassification rate than the right sized tree. On the other hand, too small a tree will not use some of the classification information available in £, again resulting in a higher true misclassification rate than the right sized tree.
\cite[S.~61, M1]{BFOS84} — 03_Funktionsprinzipien.tex:263
Manuskript-Kontext: . Empirisch zeigen sie an einer Baumfamilie, dass der wahre Fehler ein Minimum bei mittlerer Baumgröße durchläuft
Highlight (Article-S. 61): Notice two important features in Table 3.1: 1. The estimate R(T) becomes increasingly less accurate as the trees grow larger. 2. The estimates res indicate that as the trees initially de- crease in size, the true misclassification rate decreases. Then it hits a minimum at the tree with 10 terminal nodes and begins to climb again as the trees get too small.
\cite[S.~61, M2]{BFOS84} — 03_Funktionsprinzipien.tex:268
Manuskript-Kontext: : Ein Knoten mit kleiner Impuritätsabnahme kann durchaus Kindknoten mit hoher Abnahme haben, sodass ein früher Abbruch diese guten Splits abschneidet
Highlight (Article-S. 61): nal. For example, recall that an early stopping rule consisted of setting a threshold 8 and deciding not to split a node if the maxi- mum decrease in impurity was less than 8, that is, if max AI(4, t) < 8B. (3.1) 4 As it became clear that this rule produced generally unsatis- factory results, other variants were invented and tested. None were generally acceptable. The problem has two aspects, which can be il- lustrated by rule (3.1). If 8 is set too low, then there is too much splitting and the
\cite[S.~62, M1]{BFOS84} — 03_Funktionsprinzipien.tex:274
Manuskript-Kontext: : Prune anstelle von Stopping (Konstruktion eines absichtlich zu großen Baums mit anschließendem Rückschnitt) und eine genauere Fehlerschätzung zur Auswahl des passenden Baums unter den gestutzten Teilbäumen
Highlight (Article-S. 62): 1. Prune instead of stopping. Grow a tree that is much too large and prune it upward in the “right way’t until you finally cut back to the root node. 2. Use more accurate estimates of R*(T) to select the right sized tree from among the pruned subtrees.
\cite[S.~63]{BFOS84} — 03_Funktionsprinzipien.tex:281
Manuskript-Kontext: : Nach der compromise method wird ein Knoten so lange geteilt, bis er entweder rein ist (alle Datenpunkte einer Klasse), höchstens Datenpunkte enthält oder ausschließlich identische Merkmalsvektoren aufweist
Highlight (Article-S. 63): The first step is to grow a very large tree T ax by letting the splitting procedure continue until all terminal nodes are either small or pure or contain only identical measurement vectors. Here, pure means that the node cases are all in one class. With unlimited computer time, the best way of growing this initial tree would be to continue splitting until each terminal node contained exactly one sample case. The size of the initial tree is not critical as long as it is large enough. Whether one
\cite[S.~62, M2]{BFOS84} — 03_Funktionsprinzipien.tex:290
Manuskript-Kontext: : bei ausreichend großer Stichprobe einen unabhängigen Testdatensatz, bei kleinen Stichproben die -fache Kreuzvalidierung
Highlight (Article-S. 62): Sections 3.2 and 3.3 discuss a method of pruning upward. The selection of a method for honestly estimating R*(7) depends on the sample size available. With large sample size, use of an indepen- dent test sample is most economical (Section 3.4.1). With small sample sizes, the preferred method, cross-validation (Section 3.4.2), necessitates the growing of auxiliary trees. (See Mabbett,
\cite[S.~62, M3]{BFOS84} — 03_Funktionsprinzipien.tex:296
Manuskript-Kontext: mbination aus Rückschnitt und ehrlicher Fehlerschätzung Bäume nahe der optimalen Größe: Bei zu kleinen Bäumen bleibt die Struktur der Trainingsdaten unzureichend erfasst, bei zu großen Bäumen werden spezifische Besonderheiten der Trainingsstichprobe mitgelernt
Highlight (Article-S. 62): Combining pruning and honest estimation produces trees that, in our simulated examples, have always been close to the optimal size and produces estimates with satisfactory accuracy. Section 3.4 contains some illustrations and also discusses the effect on accuracy of increasing or decreasing the number of cross-valida- tion trees. Characteristically, as a tree is pruned upward, the estimated misclassification rate first decreases slowly, reaches a gradual minimum, and then increases rapidly as th
\cite[Kap.~6, S.~174]{BFOS84} — 05_Anwendung.tex:9
Manuskript-Kontext: : In CART widmen Breiman et al.\ medizinischen Diagnose- und Prognoseaufgaben (Kap. 6) sowie der Analyse von Massenspektren (Kap. 7) je ein eigenes Kapitel
Highlight (Article-S. 174): 6 MEDICAL DIAGNOSIS AND PROGNOSIS
\cite[Kap.~7, S.~203]{BFOS84} — 05_Anwendung.tex:9
Manuskript-Kontext: : In CART widmen Breiman et al.\ medizinischen Diagnose- und Prognoseaufgaben (Kap. 6) sowie der Analyse von Massenspektren (Kap. 7) je ein eigenes Kapitel [Kap. 6, S. 174]{BFOS84}
Highlight (Article-S. 203): 7 MASS SPECTRA CLASSIFICATION
\cite[S.~39]{BFOS84} — 06_Zusammenfassung.tex:57
Manuskript-Kontext: . Bereits Breiman et al.\ beschreiben in CART eine Erweiterung um Splits auf Linearkombinationen mehrerer Merkmale, mit der solche diagonalen Trennungen direkt modellierbar werden
Highlight (Article-S. 39): In problems where linear structure is suspected, the set of allowable splits is extended to include all linear combination splits of the form Is ) ax <o? momm— An algorithm was developed to search through such splits in an ef- fort to find the one that maximizes the goodness of split criterion. With linear combination splits incorporated, tree structured classification gives results competitive with or better than linear discriminant analysis on problems such as that shown in Figure 2.10.
Bre01
\cite[S.~6]{Bre01} — 04_Ensembleverfahren.tex:113
Manuskript-Kontext: . Nach dem Aufbau vieler Bäume auf Bootstrap-Stichproben der Trainingsdaten werden ihre Vorhersagen durch Voting zur Ensemblevorhersage aggregiert
Highlight (Article-S. 6): After a large number of trees is generated, they vote for the most popular class. We call these procedures random forests. Definition 1.1. A random forest is a classifier consisting of a collection of tree-structured classifiers {h(x, �k), k = 1, …} where the {�k} are independent identically distributed random vectors and each tree casts a unit vote for the most popular class at input x.
\cite[S.~10]{Bre01} — 04_Ensembleverfahren.tex:116
Manuskript-Kontext: : An jedem inneren Knoten wird die Menge der zur Split-Auswahl zugelassenen Merkmale zufällig eingeschränkt
Highlight (Article-S. 10): To improve accuracy, the randomness injected has to minimize the correlation ¯ρ while maintaining strength. The forests studied here consist of using randomly selected inputs or combinations of inputs at each node to grow each tree. The resulting forests give accuracy thatcomparefavorablywithAdaboost.Thisclassofprocedureshasdesirablecharacteristics: i Its accuracy is as good as Adaboost and sometimes better. ii It’s relatively robust to outliers and noise. iii It’s faster than bagging or boostin
\cite[S.~11, M3]{Bre01} — 04_Ensembleverfahren.tex:119
Manuskript-Kontext: . Statt aus allen Merkmalen den besten Split zu wählen, prüft der Algorithmus nur eine per Zufall gezogene Teilmenge fester Größe
Highlight (Article-S. 11): The simplest random forest with random features is formed by selecting at random, at each node, a small group of input variables to split on. Grow the tree using CART methodology to maximum size and do not prune. Denote this procedure by Forest-RI. The size F of the group is fixed. Two values of F were tried. The first used only one randomly selected
\cite[S.~11, M1]{Bre01} — 04_Ensembleverfahren.tex:125
Manuskript-Kontext: . Die einzelnen Bäume werden nicht gestutzt
Highlight (Article-S. 11): In my experiments with random forests, bagging is used in tandem with random feature selection. Each new training set is drawn, with replacement, from the original training set. Then a tree is grown on the new training set using random feature selection. The trees grown are not pruned. There are two reasons for using bagging. The first is that the use of bagging seems to enhance accuracy when random features are used. The second is that bagging can be used to give ongoing estimates of the genera
\cite[S.~10]{Bre01} — 04_Ensembleverfahren.tex:132
Manuskript-Kontext: . Eine geringere Korrelation senkt den Ensemblefehler auch dann, wenn die einzelnen Bäume dadurch etwas schwächer werden
Highlight (Article-S. 10): To improve accuracy, the randomness injected has to minimize the correlation ¯ρ while maintaining strength. The forests studied here consist of using randomly selected inputs or combinations of inputs at each node to grow each tree. The resulting forests give accuracy thatcomparefavorablywithAdaboost.Thisclassofprocedureshasdesirablecharacteristics: i Its accuracy is as good as Adaboost and sometimes better. ii It’s relatively robust to outliers and noise. iii It’s faster than bagging or boostin
\cite[S.~11, M2]{Bre01} — 04_Ensembleverfahren.tex:171
Manuskript-Kontext: . In jeder Bootstrap-Stichprobe verbleibt ungefähr ein Drittel der Trainingsdatenpunkte außerhalb
Highlight (Article-S. 11): In each bootstrap training set, about one-third of the instances are left out. Therefore, the out-of-bag estimates are based on combining only about one-third as many classifiers as in the ongoing main combination. Since the error rate decreases as the number of combinations increases, the out-of-bag estimates will tend to overestimate the current error rate. To get unbiased out-of-bag estimates, it is necessary to run past the point where the test set error converges. But unlike cross-validatio
\cite[S.~11, M1]{Bre01} — 04_Ensembleverfahren.tex:176
Manuskript-Kontext: . Die Fehlerrate dieses Out-of-Bag-Klassifikators liefert eine Schätzung des Generalisierungsfehlers
Highlight (Article-S. 11): In my experiments with random forests, bagging is used in tandem with random feature selection. Each new training set is drawn, with replacement, from the original training set. Then a tree is grown on the new training set using random feature selection. The trees grown are not pruned. There are two reasons for using bagging. The first is that the use of bagging seems to enhance accuracy when random features are used. The second is that bagging can be used to give ongoing estimates of the genera
\cite[S.~11, M2]{Bre01} — 04_Ensembleverfahren.tex:179
Manuskript-Kontext: . Die Fehlerrate dieses Out-of-Bag-Klassifikators liefert eine Schätzung des Generalisierungsfehlers [S. 11, M1]{Bre01}, die im Unterschied zur -fachen Kreuzvalidierung (vgl.\ Abschnitt ) erwartungstreu ist
Highlight (Article-S. 11): In each bootstrap training set, about one-third of the instances are left out. Therefore, the out-of-bag estimates are based on combining only about one-third as many classifiers as in the ongoing main combination. Since the error rate decreases as the number of combinations increases, the out-of-bag estimates will tend to overestimate the current error rate. To get unbiased out-of-bag estimates, it is necessary to run past the point where the test set error converges. But unlike cross-validatio
\cite[S.~12, Tab.~1]{Bre01} — 05_Anwendung.tex:12
Manuskript-Kontext: Massenspektren (Kap. 7) je ein eigenes Kapitel [Kap. 6, S. 174]{BFOS84}[Kap. 7, S. 203]{BFOS84}. Breiman evaluiert Random Forests an einer umfangreichen Sammlung von Datensätzen aus Medizin, Signalklassifikation und ökonomischen Fragestellungen
Highlight (Article-S. 12): Table 1. Data set summary. Data set Train size Test size Inputs Classes Glass 214 – 9 6 Breast cancer 699 – 9 2 Diabetes 768 – 8 2 Sonar 208 – 60 2 Vowel 990 – 10 11 Ionosphere 351 – 34 2 Vehicle 846 – 18 4 Soybean 685 – 35 19 German credit 1000 – 24 2 Image 2310 – 19 7 Ecoli 336 – 7 8 Votes 435 – 16 2 Liver 345 – 6 2 Letters 15000 5000 16 26 Sat-images 4435 2000 36 6 Zip-code 7291 2007 256 10 Waveform 300 3000 21 3 Twonorm 300 3000 20 2 Threenorm 300 3000 20 2 Ringnorm 300 3000 20 2
Bre96a
\cite[S.~123]{Bre96a} — 04_Ensembleverfahren.tex:48
Manuskript-Kontext: : Bei Klassifikationsaufgaben durch Mehrheitsvotum, bei Regressionsaufgaben durch Mittelwertbildung
Highlight (Article-S. 123): Still, an imitation of the process leading to ~#A can be done. Take repeated bootstrap samples {£(8)} from £, and form {g;(x, £(8))}. Ify is numerical, take ~B as B(x) = a vs.(x, z::(’/). If y is a class label, let the {(x, £(s))} vote to form ~;a(x). We call this procedure “bootstrap aggregating” and use the acronym bagging.
\cite[S.~124]{Bre96a} — 04_Ensembleverfahren.tex:56
Manuskript-Kontext: risch berichtet Breiman für elf Klassifikationsdatensätze Fehlerreduktionen zwischen 6 Prozent und 77 Prozent gegenüber einem einzelnen Baum, bei Regressionsproblemen liegen die Reduktionen des mittleren quadratischen Fehlers zwischen 21 Prozent und 46 Prozent
Highlight (Article-S. 124): For unstable procedures bagging works well. In Section 2 we bag classification trees on a variety of data sets. The reduction in test set misclassification rates ranges from 6% to 77%. In Section 3 regression trees are bagged with reduction in test set mean squared error on data sets ranging from 21% to 46%. Section 4 goes over some theoretical justification
\cite[S.~124]{Bre96a} — 04_Ensembleverfahren.tex:62
Manuskript-Kontext: : Für stabile Basisverfahren kann Bagging die Vorhersagegüte sogar geringfügig verschlechtern, für die instabilen Ent-schei-dungs-bäume verbessert sie sich hingegen deutlich
Highlight (Article-S. 124): For unstable procedures bagging works well. In Section 2 we bag classification trees on a variety of data sets. The reduction in test set misclassification rates ranges from 6% to 77%. In Section 3 regression trees are bagged with reduction in test set mean squared error on data sets ranging from 21% to 46%. Section 4 goes over some theoretical justification
\cite[S.~137]{Bre96a} — 04_Ensembleverfahren.tex:64
Manuskript-Kontext: : Die einfache und in-ter-pre-tier-ba-re Baum-struk-tur geht verloren, gewonnen wird höhere Vor-her-sa-ge-ge-nauig-keit
Highlight (Article-S. 137): and a back end that does the aggregation. What one loses, with the trees, is a simple and interpretable structure. What one gains is increased accuracy.
\cite[S.~137]{Bre96a} — 06_Zusammenfassung.tex:66
Manuskript-Kontext: : Bereits Breiman selbst benennt in seiner Bagging-Arbeit den Zielkonflikt, dass die einfache und interpretierbare Baumstruktur beim Übergang zum Ensemble verloren geht und dafür höhere Vorhersagegenauigkeit gewonnen wird
Highlight (Article-S. 137): and a back end that does the aggregation. What one loses, with the trees, is a simple and interpretable structure. What one gains is increased accuracy.
Bre96b
\cite[S.~2354]{Bre96b} — 04_Ensembleverfahren.tex:13
Manuskript-Kontext: . CART ordnet er in seiner Analyse ausdrücklich in die Klasse der instabilen Verfahren ein
Highlight (Article-S. 2354): Heuristic definition. A regularization procedure is unstable if a small change in the data L can make large changes in the regularized sequence � Ž .4 ��, s, L . ˆ Ž . In general see Section 7 : Subset selection is unstable: Changing just one data case in L can cause a large change Ž . in the minimizer of RSS �over U . k Ridge is stable: Ž . Change L slightly and the minimizer of RSS �over U is s close to the original minimizer. Many current regularizations are unstable. The list includes CART,
\cite[S.~2355]{Bre96b} — 04_Ensembleverfahren.tex:27
Manuskript-Kontext: Als Gegenmittel schlägt Breiman vor, mehrere Predictoren aus modifizierten Fassungen der Trainingsdaten zu erzeugen und ihre Ausgaben zu mitteln; die resultierende Predictor-Folge ist stabiler und liefert einen geringeren Vorhersagefehler
Highlight (Article-S. 2355): 1.5. Stabilization. Given that instability has undesirable consequences, what can be done? Unstable procedures can be stabilized! Consider all data � Ž �. Ž . sets L such that d L, L ��in some unspecified metric d. Define � �, s �Av � ��, s, L �. Ž . Ž . ˆ ˆ ST dŽ L , L .�� � Ž .4 Then the averaged predictors � �, s are a more stable sequence with ˆST lower predictive loss and less biased PE estimates. The implementation of this idea that worked the best among several Ž . Ž 2. � 4 alternatives s
\cite[S.~2374]{Bre96b} — 04_Ensembleverfahren.tex:31
Manuskript-Kontext: fehler [S. 2355]{Bre96b}. Für Ent-schei-dungs-bäume weist Breiman in den abschließenden Bemerkungen darauf hin, dass eine solche Stabilisierung zu deutlichen Genauigkeitsverbesserungen führt, und verweist dafür auf Bagging} als konkrete Umsetzung
Highlight (Article-S. 2374): When using nonlinear predictors there are usually no simple and effective stable alternatives. There are no known stable versions of CART, MARS or neural networks. Stabilizing these methods can give nonlinear predictors Ž . with improved accuracy. In particular, Breiman 1996b, c shows that stabi- lizing CART leads to dramatic improvements in accuracy.
CBHK02
\cite[S.~328, M1]{CBHK02} — 04_Ensembleverfahren.tex:195
Manuskript-Kontext: Zur Vorverarbeitung unbalancierter Trainingsdaten schlagen Chawla et al.\ mit SMOTE (Synthetic Minority Over-sampling Technique) ein Verfahren vor, das synthetische Minderheitsklassen-Datenpunkte erzeugt
Highlight (Article-S. 328): We propose an over-sampling approach in which the minority class is over-sampled by cre- ating “synthetic” examples rather than by over-sampling with replacement. This approach
\cite[S.~328, M2]{CBHK02} — 04_Ensembleverfahren.tex:200
Manuskript-Kontext: Datenpunkt der Minderheitsklasse werden seine nächsten Klassenkameraden im Merkmalsraum bestimmt (typischerweise ); zwischen dem Datenpunkt und einem zufällig gewählten Nachbarn wird durch lineare Interpolation ein synthetischer Datenpunkt eingefügt
Highlight (Article-S. 328): operating in “feature space” rather than “data space”. The minority class is over-sampled by taking each minority class sample and introducing synthetic examples along the line segments joining any/all of the k minority class nearest neighbors. Depending upon the amount of over-sampling required, neighbors from the k nearest neighbors are randomly chosen. Our implementation currently uses five nearest neighbors. For instance, if the amount of over-sampling needed is 200%, only two neighbors from
\cite[S.~331]{CBHK02} — 04_Ensembleverfahren.tex:203
Manuskript-Kontext: . Die so vergrößerte Minderheitsklasse wird häufig mit einem Undersampling der Mehrheitsklasse kombiniert, um eine ausgeglichenere Trainingsverteilung zu erhalten
Highlight (Article-S. 331): The majority class is under-sampled by randomly removing samples from the majority class population until the minority class becomes some specified percentage of the majority class.
\cite[S.~352]{CBHK02} — 04_Ensembleverfahren.tex:205
Manuskript-Kontext: . Empirisch übertrifft diese Kombination reines Undersampling
Highlight (Article-S. 352): The results show that the SMOTE approach can improve the accuracy of classifiers for a minority class. SMOTE provides a new approach to over-sampling. The combination of SMOTE and under-sampling performs better than plain under-sampling. SMOTE was
PNRB15
\cite[S.~142, M4]{PNRB15} — 05_Anwendung.tex:32
Manuskript-Kontext: . Bei einem europäischen Langstrecken-LKW belaufen sich die Fixkosten einer ungeplanten Standzeit auf rund 1000 Euro pro Tag
Highlight (Article-S. 142): insurances and maintenance. A European long-haul truck costs on average €1000 per day in fixed costs.
\cite[S.~139, M1]{PNRB15} — 05_Anwendung.tex:38
Manuskript-Kontext: : LVD (Sensor- und Zählerwerte aus dem Bordrechner, bei jedem Werkstattbesuch übertragen) und VSR (Wartungshistorie aus den Werkstattprotokollen)
Highlight (Article-S. 139): We present a data-driven approach that combines pattern recognition with the RUL estimation, by classifying if the RUL is shorter or longer than the time to the next planned service visit. The model is based on combining collected (i.e. not real-time) data from two sources: data collected on-board the vehicles and service records collected from OEM certified maintenance workshops. This presents
\cite[S.~139\,f., M2]{PNRB15} — 05_Anwendung.tex:49
Manuskript-Kontext: . Zudem werden mehrere Ausfallursachen mangels feinerer Klassifikation zu einer gemeinsamen Kategorie zusammengefasst
Highlight (Article-S. 139): follow-up on workshops, not for data mining. The data come from a huge set of real vehicles in normal operation, with different opera- tors. The challenges include, among others, highly unbalanced data sets, noisy class labels, uncertainty in the dates, irregular readouts and unpredictable number of readouts from individual vehicles. In
\cite[S.~142, M1]{PNRB15} — 05_Anwendung.tex:62
Manuskript-Kontext: . Die Zielgröße ist damit die Wahrscheinlichkeit, dass der Kompressor innerhalb eines festgelegten Zeitfensters vor dem nächsten Werkstattbesuch ausfällt, bedingt auf die bis zu diesem Zeitpunkt verfügbare Nutzungshistorie
Highlight (Article-S. 142): The usual RUL approach is to estimate f ðxtjYtÞ or the expecta- tion of the RUL. However, the setting we consider in this paper, this approach is unnecessarily complicated; we do not need to calculate the perfect time to perform repair since it is unpractical to do a repair at arbitrary times. Repairs are preferably done during planned maintenance events. The truck is in workshop on a particular date and the decision is a binary one: either to replace the component now or not. It should be repla
\cite[S.~143, M2]{PNRB15} — 05_Anwendung.tex:65
Manuskript-Kontext: . In der praktischen Umsetzung setzen die Autoren dieses Zeitfenster mit dem typischen Werkstattbesuchsabstand von 15 Wochen gleich
Highlight (Article-S. 143): within that time frame into the future. As described earlier, the vehicles visit the workshop on average every 15 weeks and the PH needs to be at least that long. The system should provide warnings about components that are at risk of failing before the next expected workshop visit.
\cite[S.~142, M2]{PNRB15} — 05_Anwendung.tex:72
Manuskript-Kontext: Als Klassifikator dient ein Random Forest im Sinne von Abschnitt , trainiert mit zehn Wiederholungen und zehnfacher Kreuzvalidierung
Highlight (Article-S. 142): All experimental results are averages over 10 runs using the Random Forest (Breiman, 2001) classifier, with 10-fold cross validation. We used the R language (R Core Team, 2014) including caret, unbalanced, DMwR and ggplot2 libraries.2 Random Forest are decision trees combined by bagging but with an additional layer of randomness on top of what is added by the bootstrapping of training data. The additional randomness is added by only considering subset of features at each node split. The con- sid
\cite[S.~143, M3]{PNRB15} — 05_Anwendung.tex:78
Manuskript-Kontext: . Andernfalls würden fahrzeugspezifische Muster von Trainings- auf Testdaten übertragen, und die Vorhersagegüte würde systematisch überschätzt
Highlight (Article-S. 143): A partial way of dealing with the problem is to ensure that the test and train data set be split on a per vehicle basis and not randomly among all readouts. It means that if one or more
\cite[S.~143, M4]{PNRB15} — 05_Anwendung.tex:85
Manuskript-Kontext: Der Rohdatensatz umfasst rund 1250 mögliche Merkmale aus Sensorwerten, Zäh-ler-stän-den und Zeitstempeln; pro Fahrzeug sind davon jeweils etwa 500 ver-füg-bar
Highlight (Article-S. 143): The data set contains 1250 unique features and equally many differentiated features. However, only approximately 500 of them are available for the average vehicle. It is clear that not all features should be used as input to the classifier. It is important to find the subset of features that yields the highest classification perfor- mance. Additionally, the small overlap of common features
\cite[S.~143, M5]{PNRB15} — 05_Anwendung.tex:92
Manuskript-Kontext: . Die Autoren vergleichen daher zwei Strategien zur Merkmalsauswahl mit einer von einem Volvo-Ingenieur handverlesenen Referenzauswahl aus vier Parametern
Highlight (Article-S. 143): We use two feature selection methods: a wrapper approach based on the beam search algorithm, as well as a new filter method based on the Kolmogorov–Smirnov test to search for the optimal feature set. The final feature sets are compared against an expert data set, defined by an engineer with domain knowledge. The expert data set contains four features, all of which have direct relevance to the age of the vehicle or the usage of the air compressor.
\cite[S.~143, M5]{PNRB15} — 05_Anwendung.tex:102
Manuskript-Kontext: t werden. Als Nebenbedingung gilt, dass der auswertbare Datensatz mit jedem zusätzlichen Merkmal exponentiell schrumpft, weil nicht alle Fahrzeuge alle Merkmale liefern; ein Schrumpffaktor beschränkt die Suche auf Merkmalsmengen mit noch ausreichender Fallzahl
Highlight (Article-S. 143): We use two feature selection methods: a wrapper approach based on the beam search algorithm, as well as a new filter method based on the Kolmogorov–Smirnov test to search for the optimal feature set. The final feature sets are compared against an expert data set, defined by an engineer with domain knowledge. The expert data set contains four features, all of which have direct relevance to the age of the vehicle or the usage of the air compressor.
\cite[S.~143, M5]{PNRB15} — 05_Anwendung.tex:107
Manuskript-Kontext: . Der zweite Ansatz ist ein Filter-Verfahren mit dem Kolmogorov-Smirnov-Test, der pro Merkmal prüft, ob dessen Verteilung im Ausfall-Datensatz signifikant von der im Normal-Datensatz abweicht; Merkmale mit besonders niedrigen p-Werten werden ausgewählt
Highlight (Article-S. 143): We use two feature selection methods: a wrapper approach based on the beam search algorithm, as well as a new filter method based on the Kolmogorov–Smirnov test to search for the optimal feature set. The final feature sets are compared against an expert data set, defined by an engineer with domain knowledge. The expert data set contains four features, all of which have direct relevance to the age of the vehicle or the usage of the air compressor.
\cite[S.~144, M2]{PNRB15} — 05_Anwendung.tex:110
Manuskript-Kontext: Weil Ausfälle im Datensatz selten und die Klassen daher stark unbalanciert sind
Highlight (Article-S. 144): Machine learning methods usually assume a fairly balanced data distribution. If that is not fulfilled, then the results tend to be heavily biased towards the majority class. This is a substantial
\cite[S.~145, M1]{PNRB15} — 05_Anwendung.tex:114
Manuskript-Kontext: : Aus den vorhandenen Ausfall-Beispielen werden durch In-ter-po-la-ti-on zwischen einem Datenpunkt und seinen nächsten Nachbarn zusätzliche synthetische Ausfall-Beispiele erzeugt
Highlight (Article-S. 145): We use the Synthetic Minority Over-sampling TEchnique (SMOTE), introduced by Chawla et al. (2002). It identifies, for any given positive example, the k nearest neighbours belonging to the same class. It then creates new, synthetic, examples randomly placed in between the original example and the k neighbours. It
\cite[S.~139\,ff.]{PNRB15} — 05_Anwendung.tex:142
Manuskript-Kontext: . Eigene Darstellung nach
Highlight (Article-S. 139): We present a data-driven approach that combines pattern recognition with the RUL estimation, by classifying if the RUL is shorter or longer than the time to the next planned service visit. The model is based on combining collected (i.e. not real-time) data from two sources: data collected on-board the vehicles and service records collected from OEM certified maintenance workshops. This presents
\cite[S.~142, M3]{PNRB15} — 05_Anwendung.tex:156
Manuskript-Kontext: . Diese Metriken sind allerdings nur für balancierte Datensätze mit ähnlich vielen positiven und negativen Beispielen aussagekräftig und daher für den vorliegenden Fall nur eingeschränkt brauchbar
Highlight (Article-S. 142): Supervised machine learning algorithms are typically evaluated using measures like accuracy, area under the Receiver Operating Characteristic (ROC) curve or similar. Most of them, however, are suitable only for balanced data sets, i.e. ones with similar numbers of positive and negative examples. Measures that also work well
\cite[S.~147\,f.]{PNRB15} — 05_Anwendung.tex:161
Manuskript-Kontext: : Bei größeren Vorhersagehorizonten steigt die Zahl der falsch-negativen Klassifikationen und die Accuracy sinkt merklich, obwohl der wirtschaftliche Nutzen des Modells (Profit) nahezu unverändert bleibt
Highlight (Article-S. 147): the result when evaluated with the profit measure. Interestingly, from this point of view, the system performance improves with larger PH. This appears to be, at least partially, caused by a larger number of false negatives. In particular, the further away data readout is from compressor replacement, the less indications of problems it contains. Thus a classifier will consider them to be negative examples, but if it was trained on data with sufficiently large prediction horizon, they
\cite[S.~145, M2]{PNRB15} — 05_Anwendung.tex:166
Manuskript-Kontext: . Sei die Mehrkosten einer ungeplanten gegenüber einer geplanten Reparatur, die Kosten einer geplanten Reparatur und $$ die Fixkosten für Aufbau und Betrieb des Vorhersagesystems
Highlight (Article-S. 145): The cost of planned repair CPR, cost of unplanned repair CUR, and extra cost of unplanned repair ECUR can be split up into the following terms: CPR ¼ Cpart þCP work þCP downtime ð5Þ CUR ¼ Cpart þCU work þCU downtime þCextra ð6Þ ECUR ¼ CUR�CPR ð7Þ
\cite[S.~143, M1]{PNRB15} — 05_Anwendung.tex:167
Manuskript-Kontext: . Der Nettoprofit ergibt sich dann als
Highlight (Article-S. 143): Ultimately, the criterion for evaluation of the model performance is a cost function based on the three components introduced at the beginning of this section. The function below captures the total cost of the implementation of the predictive maintenance system: Profit ¼ TP �ECUR�FP �CPR�Investment; ð3Þ where ECUR stands for extra cost of unplanned repair and CPR stands for cost of planned repair. Each true positive avoids the additional costs of a breakdown and each false positive is a repair d
\cite[S.~146, M1]{PNRB15} — 05_Anwendung.tex:181
Manuskript-Kontext: . Die Formel macht den Wert eines Modells direkt in Euro sichtbar; Abbildung zeigt die resultierenden Werte für alle sieben untersuchten Merkmalssets
Highlight (Article-S. 146): The different feature selection approaches, and the age normal- isation of the data, described in the Methods section produced six different feature sets in addition to the Expert feature set.
\cite[S.~144, M1]{PNRB15} — 05_Anwendung.tex:184
Manuskript-Kontext: dung zeigt die resultierenden Werte für alle sieben untersuchten Merkmalssets [S. 146, M1]{PNRB15}. Das Suffix AN (age normalisation) kennzeichnet dabei Varianten, in denen die Merkmalswerte um den Einfluss des Fahrzeugalters bereinigt sind
Highlight (Article-S. 144): We propose a methods for reducing the risk for such spurious effects, by re-sampling the normal group so that it has the same mileage or engine hour distribution as the fault group. We call this age normalisation, and present evaluation of it in the Results section. The sampling is done in two steps. The first step is to
\cite[S.~148, Tab.~1]{PNRB15} — 05_Anwendung.tex:240
Manuskript-Kontext: . Werte aus
Highlight (Article-S. 148): will be false negatives. Large number of them will lower accuracy significantly, but will not affect profit.
\cite[S.~148, Tab.~1]{PNRB15} — 05_Anwendung.tex:251
Manuskript-Kontext: . 64 EUR/Fzg.) deutlich
Highlight (Article-S. 148): will be false negatives. Large number of them will lower accuracy significantly, but will not affect profit.
\cite[S.~149, M1]{PNRB15} — 05_Anwendung.tex:251
Manuskript-Kontext: . 64 EUR/Fzg.) deutlich [S. 148, Tab. 1]{PNRB15}
Highlight (Article-S. 149): The best features are the Beam search 1 and the Usage sets, with or without age normalisation. All three outperform the Expert feature set, which strengthens the arguments for using data driven machine learning algorithms within this domain. There is an
\cite[S.~148, Tab.~1]{PNRB15} — 05_Anwendung.tex:255
Manuskript-Kontext: }[S. 149, M1]{PNRB15}. Praktisch entspricht das nach Angabe der Autoren einer Ersparnis in der Größenordnung von rund 110 Euro pro Fahrzeug; für eine Flotte von zehntausend Fahrzeugen ergibt sich damit ein Nettonutzen im niedrigen einstelligen Millionenbereich
Highlight (Article-S. 148): will be false negatives. Large number of them will lower accuracy significantly, but will not affect profit.
\cite[S.~149, M1]{PNRB15} — 05_Anwendung.tex:259
Manuskript-Kontext: Bemerkenswert ist die Beobachtung, dass die algorithmische Merkmalsauswahl die Expertenauswahl in allen untersuchten Konfigurationen schlägt
Highlight (Article-S. 149): The best features are the Beam search 1 and the Usage sets, with or without age normalisation. All three outperform the Expert feature set, which strengthens the arguments for using data driven machine learning algorithms within this domain. There is an
\cite[S.~149\,f., M2]{PNRB15} — 05_Anwendung.tex:269
Manuskript-Kontext: . Zweitens verlaufen schnelle Verschleißverläufe möglicherweise unterhalb der Ausleseintervalle
Highlight (Article-S. 149): machine learning algorithms within this domain. There is an interesting difference between the Wear and Usage feature sets. In the latter, there is little effect of doing age normalisation while on the first the age normalisation removes a lot of the information. This indicates that important wear patterns are linked to age, which in turn is not particularly interesting since age is easily
\cite[S.~149, M1]{PNRB15} — 05_Anwendung.tex:302
Manuskript-Kontext: : Ein breiter Merkmalspool in Kombination mit datengetriebener Auswahl kann einen Teil des sonst über Domänenwissen eingebrachten Vorwissens ersetzen und liefert damit ein Argument für den Einsatz datengetriebener Lernverfahren in diesem Anwendungsfeld
Highlight (Article-S. 149): The best features are the Beam search 1 and the Usage sets, with or without age normalisation. All three outperform the Expert feature set, which strengthens the arguments for using data driven machine learning algorithms within this domain. There is an