Inspecione um sinal usando a rede de identificação de áudio
A rede usada em AudioIdentify pode ser uma ferramenta muito poderosa para realizar outras tarefas de análise de áudio. Este exemplo modifica a rede para obter probabilidades ao longo do tempo como um resultado resolvido no tempo.
Importe a rede do Wolfram Neural Net Repository.
Aplique a rede a um objeto de Audio.
A rede foi treinada no conjunto de dados AudioSet, onde cada sinal de áudio é anotado com as classes de som e fontes que estão presentes na gravação.
Como consequência disso, as probabilidades de cada classe no resultado não são mutuamente exclusivas.
O núcleo da rede recebe um trecho de tamanho fixo do espectrograma mel do sinal de entrada e é mapeado sobre trechos sobrepostos usando NetMapOperator.
Esta é a rede principal.
Você pode calcular esse resultado no sinal de exemplo.
O resultado disso é a sequência de probabilidades independentes para cada classe calculada em cada trecho. Como você está procurando todas as classes presentes no sinal, considere o máximo ao longo tempo, em vez da média.
Se você reajustar algo, você pode gerar uma rede que produza as probabilidades de classe para cada pedaço.
Usando WebAudioSearch, você pode coletar alguns sons de instrumentos e juntá-los.
Você pode definir uma função para calcular o resultado da rede, observe as n classes mais prováveis em toda a sequência e produza essas probabilidades ao longo do tempo.
Visualize a forma de onda, junto com as probabilidades das 10 classes mais prováveis à medida que elas evoluem com o tempo.
