利用影片的物件大小與色彩結構之特性所建構之自動化新聞摘要系統

Abstract

新聞摘要系統讓使用者能夠快速切入他們所感興趣的新聞重點，而不需要看完整部的新聞影片。我們利用階層式架構，提出一種結構化的新聞影片內容索引和瀏覽方法。透過視迅切割、物體偵測、影片色彩結構分析來達成主播辨識，並進而將新聞影片做結構化的分析而建立在新聞影片資料庫中。對新聞影片而言，內容的結構化提供了使用者迅速而便捷的新聞索引與瀏覽的能力。此外，主播片段新聞陳述，更是提供了簡捷而摘要的新聞簡介。為了建構新聞影片的階層式架構，我們提出並整合了一些視訊處理的技術，包括影片的視迅切割，色彩變化量與影片動作量的關係，影片中運動物體的偵測，影片色彩結構分析與視訊片段的分類。新聞影片中，重覆出現的主播片段提供使用者作為新聞索引的切入點，因此，如何準確地做好主播辨識，成了新聞摘要系統中主要的研究重點。我們先是利用物件的大小與畫面間的色彩變化，來做初步的過濾，將不可能為主播的片段濾除，之後藉由影片色彩結構來分類出主播與非主播的片段。 以上提出的處理方法都可以直接在MPEG壓縮影片中做分析，不僅能節省計算的時間，更可提高視訊影片處理的效率。實驗中，我們選擇了許多部的新聞影片來做研究的分析，包括兩部CNN新聞，一部MPEG-7測試片段的西班牙新聞，一部日本NHK新聞，和台灣的東森新聞、年代雙主播新聞各一部。從實驗的結果可以看出所提出的方法相當實用且適用於廣範圍的新聞影片。

News summarization provides a good starting point for users to efficiently navigate the news stories of interest in different levels of detail without the need to view the entire video through the structured table of video content that contains the leading shot of anchorperson and the subsequent shots of corresponding story. In this thesis, we propose a novel approach for automatically detecting anchorperson shots, which is the key component of news parsing and summarization. In addition, a news summarization system for browsing and retrieving news stories is also developed. An approach of hierarchical shot filtering is proposed in the extraction of anchorperson shots considering the characteristics of the spatio-temporal variance of both color and objects in consecutive frames. With the successful identifications of anchorperson shots, the table of video content can be well structured for summarizing news videos without any human intervention. The experimental results on extensive testing sequences show the high precision-recall rate and thus reveal the effectiveness and the feasibility of the proposed news summarization system.