遍布即時多媒體系統與技術---子計畫四：多型態多媒體為基礎之內容分析、索引與查詢

Abstract

近年來由於數位化的影音多媒體資料爆增，因此數位內容的分析與瞭解成為刻不容緩的 熱門研究方向。數位內容的分析與瞭解是利用多媒體資料中視訊音訊的低階特性之擷取與分 析，藉以達成數位內容中事件偵測與行為辨識的目的。本計畫的研究主題分述如下： 1. 多型態數位內容之瞭解–事件偵測與行為分析 目前數位內容瞭解的一個熱門研究方向就是事件偵測。藉由視訊資料特徵之擷取，如顏 色、材質、移動，並結合含有特殊性質之音訊資料，如驟響聲、尖叫聲、碰撞聲，設計相關 演算法來推論是否有特殊事件的發生，以提供多型態之影音索引與查詢功能。同時利用影片 的連續性與時間性，我們可以針對許多正常與不正常的行為加以辨識，這可以應用在居家看 護系統、安全監控系統、道路監控系統或是運動比賽的敵情偵探系統。本計畫將分三年依序 分別完成：(a) 視訊與音訊資料低階特徵之擷取，觀察特殊事件與各影音特徵之關聯性，以 供事件偵測與行為辨識之用。(b) 依影音特徵與相關事件行為，設計適當之演算法來偵測該 事件與辯識該行為，並設法提升準確率。(c)因應不同事件或不同的使用者需求，建構如居家 看護系統、道路監控系統或是運動比賽的敵情偵探系統…等相關之系統。 2. 音樂分析 隨著多媒體資訊的數位化與網際網路規模的不斷擴大，音樂資料已由原本的類比型態轉 換成目前網路上大量普及的數位型態。如何在這樣廣泛且龐大的音樂領域中，取得所想要的 音樂類型或是特定歌曲，是一個非常值得研究的課題。在音樂訊號中，節奏與旋律是主要的 兩大特性。節奏特性是屬於時間上的結構，拍子的週期性與規律性營造出節奏的感覺。至於 旋律，則屬於頻譜上的結構，像是音高、和音、和弦，皆是屬於旋律的特性。我們將利用這 些特性對音樂的分析，取得音樂的架構組成、音樂的節奏成分以及節拍的轉折等有用的資訊， 以求對各式各樣的音樂做正確的分類，並建構相關的應用系統，提供使用者索引與查詢。另 一方面，我們可以利用分析而得之音樂節奏成分，來設計一伴奏系統，隨著音樂的節拍，可 以產生不同的打擊樂器聲以作為伴奏。本計畫將分三年依序分別完成：(a)音訊資料低階特徵 之擷取，並推論出音樂中節奏與旋律有關之特性。(b) 設計適當之演算法來對音樂做分類， 並建構相關索引與查詢系統系統。(c) 設計音樂節奏分析之演算法，建構出一個可以跟上音樂 節拍的自動伴奏系統。