動態影像中物件切割與描述之研究

Abstract

在本論文當中，我們會分成兩個主題來進行討論。第一個主題是探討如何在影像序列中進行物件的切割；第二個主題則是討論對切割後的物件進行外型上的描述。首先，我們根據實驗室學長錢威融的作法，提出進一步的改良。在之前的作法中，是將動態影像切割轉換到空間時間座標系(Spatio-Temporal Domain)當中處理，而把動態影像切割問題轉換成一個三維空間中立體影像物件的切割問題。而根據之前的作法，我們更進一步去討論如何去選取門檻值(threshold)以達到比較好的切割結果，因此我們提出了一種可變動式調整門檻值(adaptive threshold)的方法以取代舊有的固定式門檻值(constant threshold)，在我們的作法中，我們會根據不同的亮度(luminance)和色彩(chroma)的特性來調整門檻值。得到影像序列中的立體影像物件的切割結果後，在第二個主題，我們提出了一套對立體影像物件所產生的物件平面(Video Object Plane)進行追蹤以及外型的描述。我們先找到物件外型的特徵點，然後建立起不同時間的物件平面中特徵點的對應關係(Feature Point Correspondence)，因此可以得知物體的外型如何沿著時間軸方向上進行變化。在得到物體沿著時間軸上運動的外型後，再對每一張影像平面上進行空間域(Spatial Domain)上的外型描述。當我們把兩者的資訊結合在一起後，我們即可以得到立體影像物件在空間-時間域(Spatial-Temporal Domain)上的三維外型描述。

In this thesis, we discuss two topics. One is about object segmentation in image sequences and the other is about shape description. In the first topic, we propose an improved motion segmentation algorithm based on Chien’s approach. In Chien’s approach, an image sequence is translated into the spatial-temporal domain and the motion segmentation issue becomes a 3-D object segmentation issue in the spatial-temporal domain. Following Chien’s approach, we further discuss the selection of contrast threshold and propose an adaptive scheme, to adjust the contrast threshold according to luminance and chroma conditions. In the second topic, we propose a new approach to track and describe segmented 3-D objects. In our approach, feature points of object’s shape are extracted first and the correspondence of these feature points are established frame by frame to describe the evolution of object’s shape along the temporal axis. Then, we describe the object’s spatial shape on each frame. After combining spatial description and temporal description, the shape of objects can be efficiently described.