Ausreißer in numerischen Daten finden
Ausreißer (oder Anomalien) können als Datenpunkte definiert werden, die viel seltener sind als die meisten anderen Datenpunkte. Dieses Beispiel verwendet einen einfachen numerischen Datensatz, um zu zeigen, wie man Anomalien findet, und um die Anomalieerkennung mit dem Konzept der "selteneren Wahrscheinlichkeit" in Beziehung zu setzen.
Laden Sie Fisher's Iris-Datensatz und wählen Sie die Attribute "PetalLength" und "SepalWidth" aus.
Finden Sie die Ausreißer im Datensatz.
Visualisieren Sie die Position der Ausreißer im Vergleich zu den anderen Daten.
Eine Anomalie-Detektorfunktion kann ebenfalls aus den Daten gewonnen werden.
Verwenden Sie die Detektorfunktion, um Ausreißer zu finden.
Verwenden Sie die Detektorfunktion an konkreten Beispielen.
Jeder Anomaliedetektor enthält eine LearnedDistribution die auf die Datenpunkte geschult wurde, die als nicht anormal galten. Aus dieser Verteilung kann man die RarerProbability neuer Beispiele berechnen.
Die seltenere Wahrscheinlichkeit wird verwendet, um zu definieren, welche Beispiele Ausreißer sind. Standardmäßig wird jedes Beispiel mit einer selteneren Wahrscheinlichkeit kleiner als 0,001 als Ausreißer betrachtet. Visualisieren Sie die seltenere Wahrscheinlichkeitsfunktion, die Ausreißer-Entscheidungsgrenze und die Daten.
