Wortsemantik im Kontext darstellen
Das Wolfram Neural Net Repository enthält viele Modelle, um Wörter durch numerische Vektoren darzustellen. Diese semantischen Vektoren sind ein Schlüsselelement zur Lösung von Sprachanwendungen. Dieses Beispiel zeigt ein Einbettungsmodell, das den Kontext jedes Wortes berücksichtigt und veranschaulicht, wie es eine wortgetreue Disambiguierung erreicht.
Das neuronale ELMo-Netz wurde mit etwa einer Milliarde Wörtern traniert und unterscheidet Wörter je nach Kontext.
Standardmäßig erzeugt ELMo drei Vektoren pro Wort (einen, der nicht kontextbezogen ist, und zwei kontextbezogene Ebenen). Das Netz kann leicht manipuliert werden, um nur einen semantischen Vektor für jedes Wort auszugeben.
Visualisieren Sie die Ausgabe des Netzes auf einem Text (ein 1024-dimensionaler Vektor für jedes Wort).
Plotten Sie eine 2D-Darstellung der semantischen Darstellung des Wortes "Apple" in verschiedenen Kontexten.
Visualisieren Sie nun die Wortsemantik mit Hilfe von Farben.
Implementieren Sie eine 3D-Dimensionsverringerung aus der ELMo-Darstellung.
Erstellen Sie ein Netz, das RGB-Farben für jedes Wort eines Textes ausgibt.
Visualisieren Sie die semantischen Farben von Wörtern im Kontext.
