Язык Wolfram Language

Обработка текста и языка

Сравните структуру предложений

Сравнение структуры двух предложений возможно через вычисление и обработку графика их соответствующих элементов.

Изобразите дерево элементов предложения в виде графика.

In[1]:=
Click for copyable input
graph = TextStructure["Time flies like an arrow.", "ConstituentGraph"]
Out[1]=

Рассчитайте дистанционную матрицу между всеми вершинами этого графика.

In[2]:=
Click for copyable input
distancemat1 = GraphDistanceMatrix[First[graph]]; MatrixForm[distancemat1]
Out[2]//MatrixForm=

Выполните эти же действия для другого предложения.

In[3]:=
Click for copyable input
graph2 = TextStructure["I fly in the sky.", "ConstituentGraph"]; distancemat2 = GraphDistanceMatrix[First[graph2]];

Сравните структуру двух предложений через сравнение дистанционных матриц.

In[4]:=
Click for copyable input
distancemat1 == distancemat2
Out[4]=

Два предложения имеют одинаковую структуру.

Найдите предложения с идентичной структурой в двух различных статьях Wikipedia. Начните с извлечения предложений с заданной частотой употребления слов и сгенерируйте график элементов для каждого из них.

In[5]:=
Click for copyable input
processWikiPage[article_] := Select[TextCases[WikipediaData[article], "Sentences"], WordCount[#] < 5 &]; genStructure[article_] := Flatten[TextStructure[#, "ConstituentGraph"] & /@ processWikiPage[article]];
In[6]:=
Click for copyable input
phrasestruct1 = genStructure["Philosophy"]; phrasestruct2 = genStructure["History"];

Вычислите все дистанционные матрицы.

In[7]:=
Click for copyable input
adj1 = GraphDistanceMatrix /@ phrasestruct1; adj2 = GraphDistanceMatrix /@ phrasestruct2;

Попарно сравните предложения из различных статей.

In[8]:=
Click for copyable input
comparison = Outer[Equal, adj1, adj2, 1];

Получаем пары предложений с одинаковой структурой

In[9]:=
Click for copyable input
pickedSentences = Flatten[Pick[Outer[List, phrasestruct1, phrasestruct2], comparison, True], 1];

Первая пара.

In[10]:=
Click for copyable input
First[pickedSentences]
Out[10]=

Родственные примеры

de en es fr ja pt-br zh