應用於人臉動畫的表面細紋重建技術之研究

Abstract

在本篇論文中，我們提出一個可應用於三維動畫中之人臉表面細紋的重建技術。我們利用傳統的動態捕捉技術來產生出基本的三維人臉，並使用我們所提出來的改良shape-from-shading 方法來增進細紋部份。我們主要是針對在複合空間中，利用空間與時間的相關性來重建三維資訊。 此利用有時間與空間相關性的shape-from-shading 方法，可以得到一個較為準確的結果，並且可以減少因為瞬時的擾動所造成的雜訊現象。 為了能夠避免shape-from-shading中固有條件不足之情況，我們利用漸進最佳化的方式去得到三維的幾何資訊以及Phong 反射模型 上的光影參數。在人臉動畫方面，我們會採用多邊型細分及法向量差圖的方式，將所擷取之表面細紋與人臉模型結合。利用本論文之方法，將可呈現出具細紋且更擬真之三維人臉動畫。

In this thesis, we propose a facial details estimation approach for 3D animation. We utilize a motion capture technique to create the primitive 3D model and apply our novel shape-from-shading (SFS) for facial details. We exploit a space-time hybrid domain for recovering the 3D information. Space-time shape-from-shading can resolve the noise and ambiguity and get a more reliable result. In order to avoid the intrinsic ill-condition, an optimization method is proposed to approximate both the 3D face geometry and Phong reflectance properties. On rendering framework, the height and normal maps of facial details can be acquired from the image. While combing facial details with fundamental face model, our system can synthesize more detailed facial animation.