Klassifikation
Nach dem Training wird gemessen, wie gut das Verfahren die Daten verarbeitet hat. Dafür existieren verschiedene Metriken, um den Erfolg des Verfahrens zu messen. Für die Klassifikation werden Metriken für die binäre Klassifikation benutzt. Existieren mehrere Klassen, wird die binäre Klassifikation in Klasse a gegen alle anderen Klassen gemessen. Existieren beispielsweise 3 Klassen, so wird, um die Metrik für Klasse a zu erzeugen, Klasse a gleich Positive und die Klassen b, c gleich Negative gesetzt.
Die Basics der binären Klassifikation
- True Positive Der Klassifikator hat einen Datenpunkt der Klasse Positive richtig erkannt.
- True Negative Der Klassifikator hat einen Datenpunkt der Klasse Negative richtig erkannt.
- False Positive Der Klassifikator hat einen Datenpunkt der Klasse Negative als Datenpunkt der Klasse Positive erkannt.
- False Negative Der Klassifikator hat einen Datenpunkt der Klasse Positive als Datenpunkt der Klasse Negative erkannt.
Abgeleitete Metriken
Basierend auf den Messwerten aus den Basics werden die nachfolgenden Metriken bestimmt.
- Accuracy: Die Genauigkeit. Wie viele Datenpunkte wurden richtig klassifiziert.
- F-Measure: Ähnlich zur Accuracy. Arbeitet man auf einem unausgewogenen Datenset, bei der eine Klasse über viel mehr Datenpunkte als eine andere verfügt (Spammer vs. Nicht-Spammer oder Payer vs. Non-Payer), bringt die F-Measure mit einem harmonischen Mittel mehr Information in die ”Genauigkeitsmessung”.
Learning 10 Es existieren verschiedene Metriken, um den Erfolg eines Klassifikators zu messen. Sie basieren auf binärer Klassifikation. Benutzt man ein, durch die Anzahl der Repräsentanten der Klassen, unausgeglichenes Datenset, so sollte man, um die Genauigkeit zu messen, die F-Measure benutzen.
Regression
Da man bei der Regression keine Schätzung einer Klasse sondern einen Zahlenwert erhält, fällt die Beurteilung der Regressor-Performance anders aus. Man hat verschiedene Möglichkeiten:
Binäres Thresholding
Man wählt eine Grenze, die aussagt, wie groß die Abweichung vom Wert sein darf. Ist der geschätzte Wert innerhalb der Grenze, entscheidet man sich für P ositive. Befindet sich der Wert außerhalb der Grenze, entscheidet man sich für Negative. Dadurch lassen sich wiederum die Metriken der binären Klassifikation anwenden. Man kann also die Metriken aus Sektion 6.1 nutzen.
Fehlerklassen
Eine Alternative dazu sind Fehlerklassen. Diese Fehlerklassen können den Grad der Ungenauigkeit definieren. So erreicht man bei der Beurteilung des Regressors eine bessere Granularität. Je weiter die Schätzung vom Zielwert entfernt ist, desto weniger Qualität hat die Fehlerklasse.
Learning 11 Es gibt mehrere Möglichkeiten einen Regressor zu beurteilen. In den meisten Fällen kann man die Metriken der binären Klassifikation wählen. Fehlerklassen sind ebenfalls ein beliebtes Mittel. Welche Option man wählen sollte, hängt von der Art der Anwendung ab.
Alles klar? Weiter gehts! >
Haben Sie Fragen? Wir bieten Consulting zu diesem Thema an.
Zu unseren Angeboten.]]>
