Represente a semântica de palavras em um contexto
O Wolfram Neural Net Repository contém muitos modelos para representar palavras por vetores numéricos. Esses vetores semânticos são um elemento-chave para resolver aplicações de linguagem. Este exemplo exibe um modelo de integração que considera o contexto de cada palavra e ilustra como ele consegue a desambiguação de sentido de palavra.
A rede neural ELMo aprendeu representações de palavras contextuais depois de ser treinada em cerca de um bilhão de palavras.
De forma padrão, o ELMo produz três vetores por palavra (um que não é contextual e dois de níveis contextuais). A rede pode ser facilmente manipulada para produzir apenas um vetor semântico para cada palavra.
Visualize o resultado da rede em um texto (um vetor de 1024 dimensões para cada palavra).
Visualize em 2D a representação semântica da palavra "Apple" em diferentes contextos.
Agora visualize a semântica de palavras usando cores.
Implemente uma redução de dimensão 3D da representação ELMo.
Construa uma rede que produza cores RGB para cada palavra de um texto.
Visualize as cores semânticas das palavras no contexto.