コンテキストにおける単語の意味を表す

Wolfram Neural Net Repositoryには，数値ベクトルによって単語を表す多数のモデルが含まれている．これらの意味的ベクトルは言語の応用を解決する主要要素である．この例では，各単語のコンテキストを考慮する埋込みモデルを示し，それがどのように語義の曖昧性解消を達成するかを説明する．

ELMoニューラルネットは，10億の単語について訓練された後，コンテキストによる単語表現を学習した．

デフォルトではELMoは，単語あたり3つのベクトル（文脈的でないもの1つと文脈レベルが2つ）を生成する．各語について意味的ベクトルのみを出力するよう簡単にネットを操作することができる．

テキスト（各語につき1024次元ベクトル）についてのネットの出力を可視化する．

異なるコンテキストでの「Apple」の意味的表現の2D表現をプロットする．

ここで単語の意味を色で可視化してみよう．

ELMo表現から三次元の次元削減を実装する．

テキストのそれぞれの単語にRGBカラーを出力するネットを構築する．

コンテキストの単語の意味的な色を可視化する．