Browsing by Author "Chen Hua-tsung"

Now showing 1 - 3 of 3

多型態與多視角之多媒體內容整合、分析與應用
(2013)
陳華總
;
Chen Hua-tsung
;
國立交通大學資訊工程學系（所）
多型態與多視角之智慧型多媒體內容分析、理解與擷取
(2012)
陳華總
;
Chen Hua-tsung
;
國立交通大學資訊工程學系（所）
隨著各式各樣多媒體應用的發展，數位化的影音多媒體內容與日劇增。許多研究致力於多媒體內容的分析與了解來研發實用的工具系統。目前大多數的研究著眼於單一視角的影片分析，然而，單一視角的影片分析常因物體重疊、缺乏深度資訊，且受制於不完整的三維資訊，往往成效有限。因此，本計畫除了利用視訊資料中所擷取之低階特徵，推論移動物體的動作與軌跡，來做事件偵測與行為分析之外，更進一步研究如何分析統整多台攝影機取得的資訊以超越單一視角影片分析之效果。此外，將整合Microsoft Xbox Kinect 所取得之深度圖以及聲音訊號等多型態之資訊，以期對多媒體內容之分析與了解、索引與查詢更臻至完善。人體輪廓的特徵與變化往往代表著不同的姿勢與動作，因此我們提出有效之人體輪廓擷取演算法，並計算具有代表性之人體骨架表示法來進行動作分析與事件偵測。此外，在影片中，有意義的事件主要都是起源於移動物體之間的互動，這同時也是使用者感興趣的部分。因此，我們必需先切割並追蹤移動物體，計算出物體的運動軌跡。物體的運動常有特定的模式，利用此特性，將可以更有效率且更準確地計算出物體的運動軌跡。有了物體的運動軌跡之後，我們針對特定事件設計相關法則，找尋符合的軌跡，推測相對應之事件，並對事件自動產生註解。在其它應用方面，可以有不同的做法：我們對正常行為的運動軌跡設定法則，當出現法則之外的軌跡時，即可偵測到有不正常行為的發生。另一方面，Kinect 所取得之深度圖，突破了單一攝影機缺乏深度資訊之限制，因此我們將分析Kinect 深度圖，用以加強影片內容分析及行為辨識之成效。有了物體在畫面中的二維運動軌跡之後，我們更進一步地研究如何利用物體運動的物理特性與領域知識，從單一視角影片來重建三維軌跡。以運動影片為例，因受地心引力的作用，球在空中的三維移動軌跡可用拋物線函式來模擬，而球場規格的領域知識可以用來計算攝影機參數，再加上先前所求得之二維軌跡，我們將可以估算出用來模擬三維球路的拋物線函式，進而重建球在三維空間的運動軌跡。然而，我們並沒有完全考慮到所有影響球路軌跡的因素，像是空氣摩擦力、球的旋轉角度與速度等等，所以從單一視角所建構之三維球路與真實的球路會有誤差。此外，單一視角影片的物體追蹤與軌跡計算，會因物體重疊而產生錯誤。因此，我們將研發如何分析多台攝影機的資訊，試著更準確地重建三維資訊。多重視角之影片分析，首先要計算對應點，要能找出不同視角中哪些點在真實環境中是同一個點。特定線段的偵測往往比特定點的偵測來的準確，因此，我們將偵測不同視角的特徵線段，然後以線段的端點或線段之間的交點來當作特徵點，計算出不同視角中的對應關係。最後，我們統整分析多台攝影機的影像資料以及其間的對應關係，更精確地計算物體移動軌跡與重建三維資訊，同時整合深度圖與聲音訊號等多型態資訊，以研發並建構多重視角多型態之智慧型多媒體內容分析、理解與擷取系統。
智慧視覺計算與多媒體內容分析應用
(2014)
陳華總
;
Chen Hua-tsung
;
國立交通大學資訊工程學系（所）