追蹤與操作真實環境中的動態似規則化材質

Abstract

似規則化材質(Near-regular Texture)是真實世界中極為常見的材質，特別是在人類 的生活環境中，例如布料圖案、建築物磁磚外牆、室內地板、壁紙等。雖然材質的分 析合成在過去數十年來一直是電腦視覺及電腦圖學上非常熱門的研究領域，能夠有效 處理似規則化材質的電腦演算法，仍是相當稀少。在先前的研究中，我們發展出能有 效分析及操作靜態似規則化材質的演算法，利用似規則化材質的特性，以確保似規則 化材質的幾何結構及色彩外觀的規則度與亂度，在合成及操作的過程中被真實的保留 住。在本計畫中，我們將進一步利用似規則化材質的特性，分析及操作影片中的動態 似規則化材質(Dynamic Near-regular Texture)。我們的目標是在研究及發展動態似規則 化材質的模型、追蹤及操作相關的演算架構。動態似規則化材質有一個非常重要的拓 樸不變(topology invariance)特性：亦即動態似規則化材質的幾何及外觀即使在運動中有 劇烈的變化，其網格結構(lattice structure)的拓樸仍是保持不變的。基於拓樸不變的特 性，我們提出一個使用網格結構的馬可夫隨機場模型(lattice-based Markov Random Field Model)來描述三維時空中的動態似規則化材質。此動態似規則化材質模型是由一個全 域網格結構與影像觀察模型組成：前者用以表示材質元素(texton)間的整體拓樸限制， 後者則是用以表示個別材質元素的幾何及外觀變化。直觀上，動態似規則化材質模型 的運作方式像是一個具統計特性的彈簧網路—各元素間的間隔距離及幾何形狀是基於 統計模型動態調整的。利用網格結構的馬可夫隨機場模型，我們將發展一個追蹤動態 似規則化材質的演算法以有效解決追蹤動態似規則化材質的特殊挑戰，如材質元素間 的相似外觀所引起的追蹤混淆問題、遮蔽問題、照明變化及元素外觀在運動中的變化 等。此動態材質追蹤演算法可應用在影片編輯中(在攝影機參數及場景幾何參數均未知 的情況下)，例如將似規則化材質替換為任意的材質或是在動態似規則化材質的表面上 貼覆任意的圖案等。 本計畫的主要學術貢獻將是發展出一套追蹤及操作動態似規則化材質的演算架 構，可以應用在以材質為基礎的動態影像編輯。此將產生許多創新的應用，例如數位 內容中的動態材質編輯及搜尋、數位服裝設計中在同套服裝下替換不同布料的動態預 視、電影數位特效等。