由影像建築結構建立三維模型與場景修補之研究

Abstract

本計晝提出分析影像中建築物的結構，以應用於場景物件移除、影像修補與快速三 維建模。當輸入一張街景影像，我們將推估可能得平行與垂直等多種隱含特徵，並以 此擷取出可能的建築物牆面多邊形。這些近似的三維平面將可消除影像修補技術會發 生的透視投影扭曲的情況。當再進一步利用影像分割修正多邊形輪廓與定位其轉向與 深度，我們的系統將讓使用者快速地建立街道建築物的三維模型。

此技術將再擴展到雙眼立體影像上。雙眼影像的視差可提供給我們更豐富的資訊進 行場景的修補與分割。本研究將以兩年的時間進行，透過影像結構的分析，我們的系 統預計將產生更合理與擬真的場景影像修補、更快速的建構建築物三維模型。此結合 影像與三維模型之技術更可使用於擴增實境等應用。

In this project, we propose exploring the architectural structures in an image for scene completion and rapid facade modeling. Given an input image, we plan to analyze the implicit orthogonal structures with other cues to extract architectural polygons. With the preliminary polygons, our proposed completion method can fulfill the regions of removed obstacles, and preserves the architectural structures. After refining the borders and evaluating the polygon orientation, we can reconstruct the facades of buildings.

Besides, we also plan to take advantage of motion parallax in stereoscopic images to improve the scene completion. The proposed system can provide more reasonable structural image completion, rapid scene prototyping for street images, or references for object interactions in augmented reality.