Wolfram Language

Ein Signal mit dem Audioidentifizierungsnetz untersuchen

Das in AudioIdentify verwendete Netzwerk kann ein sehr leistungsfähiges Werkzeug für andere Aufgaben der Audioanalyse sein. Dieses Beispiel modifiziert das Netz, um Wahrscheinlichkeiten im Laufe der Zeit als zeitaufgelöstes Ergebnis zu erhalten.

Importieren Sie das Netz aus dem Wolfram Neural Net Repository.

Wenden Sie das Netz auf ein Audio-Objekt an.

Das Netz wurde mit dem AudioSet-Datensatz trainiert, bei dem jedes Audiosignal mit den Klangklassen und Quellen, die in der Aufzeichnung vorhanden sind, annotiert wird.

Infolgedessen schließen sich die Wahrscheinlichkeiten jeder Klasse in der Ausgabe nicht gegenseitig aus.

Der Kern des Netzwerks nimmt einen Teil mit fester Größe des Mel-Spektrums des Eingangssignals und wird mit dem NetMapOperator über überlappende Teile gelegt.

Dies ist das Kernnetz.

Sie können dieses Ergebnis unter Verwendung des Beispielsignals berechnen.

Das Ergebnis davon ist die Folge der unabhängigen Wahrscheinlichkeiten für jede Klasse, die für jedes Teilsignal berechnet werden. Da Sie nach allen im Signal vorhandenen Klassen suchen, nehmen Sie das Maximum über die Zeit statt des Durchschnitts.

Wenn Sie etwas nachjustieren, können Sie ein Netz erzeugen, das die Klassenwahrscheinlichkeiten für jedes Teilsignal ausgibt.

Mit WebAudioSearch können Sie einige Instrumentenklänge sammeln und zusammenfügen.

Sie können eine Funktion definieren, um das Ergebnis des Netzes zu berechnen, die n wahrscheinlichsten Klassen in der gesamten Sequenz zu betrachten und diese Wahrscheinlichkeiten über die Zeit als Ausgangswerte zurückzugeben.

Visualisieren Sie die Wellenform, zusammen mit den Wahrscheinlichkeiten für die 10 wahrscheinlichsten Klassen, wie sie sich im Laufe der Zeit entwickeln.

Verwandte Beispiele

en es fr ja ko pt-br zh