Netz-Encoder für Audio
Eine Vielzahl von audiospezifischen NetEncoder -Objekten ist nun verfügbar, um das Audio-Objekt fest mit dem neuronalen Netzframework zu integrieren. Die Encoder sind ein wichtiger Bestandteil des Frameworks, da sie eine einfache Möglichkeit bieten, Daten in ein neuronales Netz einzubringen.
Überprüfen Sie die Merkmale der einzelnen Encoder, die aus einer Aufzeichnung eines Vogels berechnet wurden.
Der "Audio"-Netz-Encoder gibt einfach die Wellenform nach einem Resampling und Downmixing-Schritt zurück.
Der Netz-Encoder "AudioSTFT" berechnet die Fourier-Transformation auf Partitionen des Eingangssignals. Diese Funktion enthält sowohl Zeit- als auch Frequenzinformationen.
Der Netz-Encoder "AudioSpectrogram" gibt das Leistungsspektrum zurück, das aus Teilbereichen des Eingangssignals berechnet wurde.
Der Netz-Encoder "AudioMelSpectrogram" liefert ein Spektrogramm, das so gefiltert wurde, dass die Frequenz-Bins einen linearen Abstand haben, um die Tonhöhenwahrnehmung beim Menschen nachzuahmen.
Der Netz-Encoder "AudioMFCC" führt eine weitere Dimensionalitätsreduzierung des Mel-Spektrums durch, während die meisten der im Signal enthaltenen Informationen erhalten bleiben.