多張影像間幾何投射分析與其運用於強健式特徵點抽取及相機投射矩陣估測

Abstract

在電腦視覺研究中，我們針對二張或更多張不同視度下所拍攝的景物影像，進行三 維景物幾何形狀以及相機相互之間的幾何位置的推測。典型的視覺重建步驟包括： (1) 抽取影像中具有區辨能力的特徵點或特徵線。 (2) 尋找不同影像間的對應特徵點或線。 (3) 估算相機間的Fundamental matrices。 (4) 利用Fundamental matrix 求取更稠密的對應像點。 (5) 估算影像的epipole 及該相機的等效投影矩陣。 (6) 估算景物的三維投影幾何結構(projective structure)。 (7) 利用一些能掌握的Euclidean measurements，將投影幾何結構轉換後Affine 或 Euclidean structure。 (8) 另一方面也可以運用多於二張的影像中的對應像點進行像點矩陣(data matrix D) 的矩陣分解(matrix factorization)以獲得三維景物的幾何結構及相機內外參數資 料。 目前前面二件工作難以掌控，而且缺少明確性分析。至於後面的幾件工作，則是針 對透過更多影像如何進行更精確、更可靠的三維重建工作，以及放寬相機的參數限制， 擴大適用範圍。 我們將先建立影像間幾何轉換矩陣H 。其次，我們將矩陣H 分解為三個基本型矩陣 H = t H a H t H ，並推導p H , a H , t H 對影像作用的幾何特性，以瞭解p H , a H , t H 對 影像所產生的影響。我們再針對矩陣H 的幾何影響，考慮如何設計影像上特徵點 (feature points) 的抽取，以使得部份特徵點在矩陣H 的作用下，仍然能維持大致不 變，以做為兩張影像間的點對應之用。我們將分析採用Gabor filtering 技術做特徵點 擷取(feature extraction)的適當性及濾波器的參數如何設計，以便所抽取的特徵點向量 在前述p H , a H 及t H 的轉換下不致全部被破壞掉，再用這些對應像點估算 Fundamental matrix 及相機的等效投影矩陣，並求三維幾何結構。最後，再利用已知 點做座標轉換，求得歐氏座標下相機投射矩陣及三維幾何結構，與參考值比較，觀 察估測的準確度。若能拍攝到足夠張的影像及獲得足夠的對應點數，用對應點的data matrix 做matrix factorization，求取相機投射矩陣及三維幾何結構，以觀察估測的準 確度是否可提高？我們將做電腦模擬，以印證本計劃所發展的理論及瞭解其的實用 性。