控制環境下利用多張影像重建三維物像之方法研究

Abstract

在本篇論文中，我們嘗試建構一個自動的三維重建系統。利用多張於控制環境中拍攝的不同角度彩色影像，經過特徵點擷取、特徵點比對、三維座標還原、以及限制條件網狀結構的建立來得到物體在三維空間中的模型。在特徵點擷取的部份，我們採用微分幾何的觀念，以影像曲面上兩方向曲率皆高的轉角點為影像中的特徵點。找出特徵點之後，利用特徵導向比對法，以色彩向量相關係數的大小為依據，找出不同影像上對應的特徵點，並對錯誤的對應加以修正。有了對應的特徵點之後，加上相機擺設、參數等條件，可以還原特徵點的三維座標。為了建立三維模型的表面，我們利用限制條件網狀結構的建立及點的對應關係從二維影像的資訊把三維網狀結構建構出來。最後由三維模型再投影，可以得到不同角度所見之物體影像。文中對各步驟有詳細的說明與分析，最後指出目前的問題所在與未來改進的方向。

In this thesis, we try to construct an automatic 3-D reconstruction system. Given color images captured in controlled environment, we use feature extraction, feature correspondence, 3-D coordinates reconstruction, and constrained mesh establishment to obtain the 3-D model of the scene. In feature extraction, we apply methods in differential geometry to detect corner features. After the detection of features, we check the correlation of color vectors around the features to establish the correspondence of features. Then we remove incorrect matching by the Least-Median-of-Square method. After the matched pairs are known, we estimate the 3-D coordinates of the features according to the known camera arrangement and camera parameters. In order to construct the surfaces of the 3-D objects, constrained mesh triangulation is used to reserve the original shape of the objects. Finally, through reprojection of the reconstructed 3-D model, we may obtain the images of the object seen from different viewing angles. In this thesis, we discuss each step in detail and also point out the encountered problems. 1.1 前言………………………………………………………………...… 1 1.2 系統概觀……...……………………………………………………… 2 1.3 摘要..………………………………………………………………… 3 第2章 背景資料…..…..……...………………………………….. 5 2.1 成像幾何……….…….……………………………………………… 5 2.1.1 透視幾何模型…………………… ………………………….. 5 2.1.2 Epipolar Geometry…………………………………………….. 8 2.1.2.1 影像共面的情形……………………………………….. 9 2.1.2.2 影像不共面的情形……………………………………... 10 2.1.3 Epipolar Constraint………………………………...….……….. 11 2.2 影像比對…….…….………………………………………………… 12 2.2.1 影像比對方式….………………………...…………………… 12 2.2.2 使用epipolar constraint………………………….…………... 14 2.2.3 影像比對常遇到的問題……………………………………… 15 2.3 三維重建…………..………………………………………………… 17 2.3.1 參數已知的情形……………………………………………… 17 2.3.2 參數未知的情形……………………………………………… 18 第3章 特徵導向比對……………………………………………. 20 3.1控制環境…………………….……………….…….…………………. 20 3.2系統架構………………………………….……………………….….. 23 3.3 特徵點擷取…………………………………….…………………….. 24 3.3.1 色彩空間的選擇……………………………………………. 24 3.3.2 影像分割……………………………………………………. 28 3.3.3 選擇特徵點………………………………………………….. 28 3.3.4 影像與影像曲面………………..…………………………... 29 3.3.5 轉角點之萃取……………………………………………….. 31 3.3.6 轉角點之微調…………………………………………………. 38 3.4 影像比對…………………………………………………………….. 40 3.4.1 透過相互關係比對……….………………………………….. 41 3.4.2 移除比對錯誤的點……….…………………………………... 44 3.4.2.1 Zhang’s Algorithm……………………………………. 45 第4章 三維重建…………………………………………………. 48 4.1 相關研究…………….…………………….………….…...…………. 48 4.2 找出三維空間點座標...………...……………………………………. 50 4.3 網狀結構的建立..………….………………………………………… 53 4.4 尋找合適的限制……………………………………………………... 54 4.5 物體表面的建立……………………………………………………... 55 4.6 不同角度影像的產生………………………………………………... 61 4.7 將色彩填入新的影像……………………………………………….. 63 4.8 考慮多張影像的情形……………………………………………….. 66 第5章 結論………………………………………………..……... 68 5.1 優點與限制………………..………………………………………… 68 5.2 未來改進方向………………………..………………………………. 69 參考文獻…………………………………………………………… 71