Übersetzung von Andrew Uns Leidenschaft für maschinelles Lernen Kapitel 28 - 29

    vorherige Kapitel


    Kurven lernen


    28 Offset und Streuung diagnostizieren: Lernkurven


    Wir haben verschiedene Ansätze zur Trennung von Fehlern in vermeidbare Abweichungen und Streuungen betrachtet. Wir haben dies getan, indem wir den optimalen Fehleranteil durch Berechnung von Fehlern in der Trainingsstichprobe des Algorithmus und in der Validierungsstichprobe bewertet haben. Lassen Sie uns einen informativeren Ansatz diskutieren: Kurvendiagramme lernen.
    Diagramme von Lernkurven sind abhängig vom Bruchteil eines Fehlers von der Anzahl der Beispiele einer Trainingsstichprobe.


    Bild


    Wenn die Größe der Trainingsstichprobe zunimmt, sollte sich der Fehler bei der Validierungsstichprobe verringern.
    Wir werden uns oft von einem „gewünschten Bruchteil der Fehler“ leiten lassen, von dem wir hoffen, dass er unseren Algorithmus erreicht. Zum Beispiel:


    • Wenn wir hoffen, das für den Menschen verfügbare Qualitätsniveau zu erreichen, sollte der Anteil der menschlichen Fehler „der gewünschte Bruchteil der Fehler“ sein.
    • Wenn in einem bestimmten Produkt ein Lernalgorithmus verwendet wird (z. B. ein Anbieter von Katzenbildern), wissen wir möglicherweise, welches Qualitätsniveau erreicht werden muss, damit die Benutzer den größtmöglichen Nutzen daraus ziehen können.
    • Wenn Sie lange an einer wichtigen Anwendung arbeiten, wissen Sie möglicherweise einigermaßen, welche Fortschritte Sie im nächsten Quartal / Jahr erzielen können.

    Fügen Sie unserer Lernkurve das gewünschte Qualitätsniveau hinzu:
    Bild


    Sie können die rote Fehlerkurve in einem Validierungsmuster visuell extrapolieren und davon ausgehen, wie viel näher Sie sich dem gewünschten Qualitätsniveau nähern könnten, indem Sie mehr Daten hinzufügen. In dem in der Abbildung gezeigten Beispiel ist es wahrscheinlich, dass eine Verdoppelung der Trainingsprobe die gewünschte Qualität erreicht.
    Wenn jedoch die Kurve des Bruchteils des Fehlers der Validierungsstichprobe ein Plateau erreicht hat (dh sie wurde in eine gerade Linie parallel zur x-Achse gedreht), zeigt dies sofort an, dass das Hinzufügen zusätzlicher Daten nicht zum Erreichen des Ziels beiträgt:


    Bild


    Ein Blick auf die Lernkurve kann so dazu beitragen, zu vermeiden, dass Sie Monate damit verbringen, doppelt so viele Trainingsdaten zu sammeln, nur um zu erkennen, dass das Hinzufügen nicht hilfreich ist.
    Einer der Nachteile dieses Ansatzes besteht darin, dass es schwierig sein kann, zu extrapolieren und genau vorherzusagen, wie sich die rote Kurve verhält, wenn Sie nur die Fehlerkurve in einem Validierungsbeispiel betrachten, wenn Sie mehr Daten hinzufügen. Daher gibt es einen weiteren zusätzlichen Zeitplan, der helfen kann, den Einfluss zusätzlicher Trainingsdaten auf den Fehleranteil zu bewerten: einen Trainingsfehler.


    29 Diagramm der Lernfehler


    Fehler bei den Validierungs- (und Test-) Proben sollten mit zunehmender Trainingsprobe abnehmen. Im Trainingsbeispiel steigt der Fehler beim Hinzufügen von Daten jedoch normalerweise an.


    Lassen Sie uns diesen Effekt anhand eines Beispiels veranschaulichen. Angenommen, Ihr Trainingsmuster besteht aus nur zwei Beispielen: Ein Bild mit Katzen und eines ohne Katzen. In diesem Fall kann sich der Lernalgorithmus leicht an beide Beispiele einer Trainingsstichprobe erinnern und 0% Fehler in der Trainingsstichprobe anzeigen. Selbst wenn beide Lehrbeispiele falsch gekennzeichnet sind, kann sich der Algorithmus leicht an ihre Klassen erinnern.


    Stellen Sie sich nun vor, dass Ihr Trainingsmuster aus 100 Beispielen besteht. Angenommen, eine bestimmte Anzahl von Beispielen wird falsch klassifiziert, oder es ist in einigen Beispielen nicht möglich, eine Klasse festzulegen, beispielsweise in unscharfen Bildern, wenn nicht einmal eine Person feststellen kann, ob eine Katze im Bild vorhanden ist oder nicht. Angenommen, der Lernalgorithmus „erinnert sich“ an die meisten Beispiele des Trainingsbeispiels, es ist jedoch schwieriger, eine Genauigkeit von 100% zu erreichen. Wenn Sie die Trainingsprobe von 2 auf 100 Beispiele erhöhen, werden Sie feststellen, dass die Genauigkeit des Algorithmus für die Trainingsprobe allmählich abnimmt.


    Stellen Sie sich schließlich vor, dass Ihr Trainingsmuster aus 10.000 Beispielen besteht. In diesem Fall wird es für den Algorithmus zunehmend schwieriger, alle Beispiele perfekt zu klassifizieren, insbesondere wenn der Trainingssatz unscharfe Bilder und Klassifizierungsfehler enthält. Daher wird Ihr Algorithmus bei einem solchen Trainingsmuster schlechter arbeiten.


    Fügen wir den vorherigen Fehlern eine Grafik der Lernfehler hinzu.


    Bild


    Sie können sehen, dass die blaue Lernfehler-Kurve mit zunehmender Trainingsstichprobe zunimmt. Darüber hinaus zeigt der Lernalgorithmus in einer Trainingsstichprobe normalerweise eine bessere Qualität als in einer Validierungsstichprobe. Daher liegt die rote Fehlerkurve in der Validierungsprobe streng über der blauen Fehlerkurve in der Trainingsprobe.


    Lassen Sie uns als Nächstes besprechen, wie diese Diagramme interpretiert werden sollen.


    Fortsetzung folgt


    Jetzt auch beliebt: