Язык Wolfram Language

Обработка изображений и сигналов

Многооконная Реконструкция

3D-объект может быть восстановлен на основе нескольких 2D изображений. Функция ImageDisplacements используется для определения параллакса от одного изображения к другому. Чем больше сдвиг параллакса, тем ближе объект позади соответствующего пикселя. С помощью этой информации, вы можете определить вершины объекта сетки, полученного с помощью функций ImageMesh и TriangulateMesh. Результат отображается путем наложения текстуры на 3D сетку.

In[1]:=
Click for copyable input

Получим объект-маску центрального изображения.

In[2]:=
Click for copyable input
mask = Erosion[Binarize[imgs[[2]], 0], 1];

Определим параллакс в левом и правом изображениях относительно центрального изображения.

In[3]:=
Click for copyable input
parallaxL = First@ImageDisplacements[imgs[[{2, 1}]]];
In[4]:=
Click for copyable input
parallaxR = First@ImageDisplacements[imgs[[{2, 3}]]];

Сочетаем перемещения, выполненные в предыдущем шаге, в общем параллаксе.

In[5]:=
Click for copyable input
parallax = parallaxL - parallaxR;

В данном случае, Х-компонент параллакса примерно пропорционален глубине соответствующего источника пикселей.

In[6]:=
Click for copyable input
depth = Blur@ Opening[ImageMultiply[ImageAdjust@Image[parallax[[All, All, 1]]], mask], DiskMatrix[4]]
Out[6]=

Построим функцию глубины.

In[7]:=
Click for copyable input
depthFunction = ListInterpolation[Transpose@Reverse@ImageData[depth]];

Получим более точный объект-сетку, с уточнением, зависящим от значимости этого объекта.

In[8]:=
Click for copyable input
resolution = ImageAdjust@ImageSaliencyFilter[imgs[[2]]];
In[9]:=
Click for copyable input
resolutionFunction = ListInterpolation[Transpose@Reverse@ImageData@resolution];
In[10]:=
Click for copyable input
\[CapitalOmega] = TriangulateMesh[ ImageMesh[Erosion[mask, DiskMatrix[2]]], MeshRefinementFunction -> Function[{vertices, area}, area > 32 + 512 (1 - resolutionFunction @@ Mean[vertices])^6] ]
Out[10]=

Осуществим выдавливание объекта-сетки с помощью функции глубины.

In[11]:=
Click for copyable input
Graphics3D[ GraphicsComplex[ Apply[{##, depthFunction[##]} &, MeshCoordinates[\[CapitalOmega]], {1}], {EdgeForm[], MeshCells[\[CapitalOmega], 2]} ], PlotRange -> Append[Thread[{0, ImageDimensions[mask]}], {0, 1}], BoxRatios -> {1, 1, 2/3}, ViewPoint -> Top ]
Out[11]=

Определим текстуру объекта на основе центрального изображения.

In[12]:=
Click for copyable input
texture = SetAlphaChannel[imgs[[2]], mask]
Out[12]=

Наложим полученную текстуру на 3D объект.

In[13]:=
Click for copyable input
Graphics3D[ {Texture[texture], GraphicsComplex[ Apply[{##, depthFunction[##]} &, MeshCoordinates[\[CapitalOmega]], {1}], {EdgeForm[], MeshCells[\[CapitalOmega], 2]}, VertexTextureCoordinates -> Map[#/ImageDimensions[texture] &, MeshCoordinates[\[CapitalOmega]]] ] }, PlotRange -> Append[Thread[{0, ImageDimensions[mask]}], {0, 1}], BoxRatios -> {1, 1, 2/3}, Lighting -> {{"Ambient", White}}, ViewPoint -> Top, Boxed -> False ]
Запустить анимацию
Остановить анимацию

Родственные примеры

de en es fr ja ko pt-br zh