문맥에서 단어의 의미 나타내기
Wolfram Neural Net Repository에는, 숫자 벡터로 단어를 나타내는 다수의 모델이 포함되어 있습니다. 이러한 의미적 벡터는 언어의 응용을 해결하는 핵심 요소입니다. 이 예는, 각 단어의 문맥을 고려하는 매립 모델을 보여주고, 그것이 어떻게 단어가 의미하는 애매성을 해소하는지를 설명합니다.
ELMo 신경망은 단어 10억 개를 훈련시킨 후 문맥에 따른 단어 표현을 학습 했습니다.
기본적으로 ELMo는 단어 당 3개의 벡터(상황에 맞지 않은 것 1개와 상황에 맞는 것 2개)를 생성합니다. 각 단어에 대해 의미적 벡터만을 출력하도록 네트워크를 쉽게 조작할 수 있습니다.
텍스트(각 단어 당 1024차원 벡터)에 대한 네트워크의 출력을 시각화합니다.
서로 다른 상황에서 "Apple"이라는 의미를 가진 2D 표현을 출력합니다.
이제 단어의 의미를 각기 다른 색으로 시각화 합니다.
ELMo 표현에서 삼차원의 차원 감소를 구현합니다.
각 텍스트 단어에 RGB 색을 출력하는 네트워크를 구축합니다.
콘텍스트 단어의 의미적인 색을 시각화합니다.
