架構在階層式雙向預測影片上的多重描述編碼法之設計

Abstract

多重描述編碼法(Multiple Descriptor Coding，簡稱MDC)就是一種將影片切割成多 個低頻寬子影片的視訊編碼法，非常適合用於架構在P2P (Peer-to-Peer) 網路上的影音串 流的應用中。P2P 網路由於其低成本及具延展性的特性，已經越來越被廣泛地使用，然 而在影音串流的應用中，由於影音的大頻寬需求，使得頻寬不足的Peer 而言，無法下載 高頻寬的影音資料，或貢獻其上載頻寬協助影音串流，使得P2P 的特性無法充分發揮。 多重描述編碼法是可以用來解決上述問題的方法之一，因為它將高頻寬的影音資料切割 成多個低頻寬的子影音檔，如此一來，低頻寬Peer 也能參與上載或下載較低頻寬的子影 音檔。而多重描述編碼法所切割出來的子影片是可以獨立被個別解碼的。收到少數子影 片檔的Peer 可解出較低品質的影片；而收到愈多子影片檔的peer，則可解出愈高品質的 影片。同時，由於各個子影音檔在傳輸時可能走不同路徑，封包遺失可以藉由其他子影 片檔的內容來加以修復，因此大幅減低封包遺失對影片品質的影響。 多重描述編碼法雖然能為網路與Peer 的異質性提供解決之道，然而在實際的應用中 卻未被廣為使用，主要在於編碼效能差。如果將影片檔的資料任意切割成多份分別壓縮， 則個別子影片的壓縮效率必然很差，因為資料之間的相互關係(co-relation)被切割分散在 不同子影片中，無法充分利用，造成整體編碼的資料量(bitrate)遠高於H.264 標準編碼 (single description coding) 產生的資料量。有鑑於此，我們希望提出一種多重描述編碼法， 來有效減少多餘的資料量(redundant bit-rate)。Hierarchical B-frame prediction structure (簡 稱 hierarchical B)的架構是一種有高效能的運動預測方式，其藉著階層式的雙向預測來 達到比傳統B frames 有更好的編碼效能，因此，本計畫的多重描述編碼法擬植基於 hierarchical B 的架構上來提升編碼效能，並加以改善其容錯能力，。 此研究計畫中，我們預計以兩年為期完成以下兩個目標：１. 研究架構於hierarchical B 上的多重描述編碼法; 2. 研究架構於hierarchical B 上的錯誤隱藏方法。計畫第一年 的研究主要是著重在hierarchical B 架構上的各種切割法，包括時間域、空間域、頻率域 等。我們擬採用混和的方式來結合多種切割法於hierarchical B 的架構上，以互補各切割 法的優缺點，相較於目前多數的多重描述編碼方法架構在non-hierarchical B 上且只使用 一種特性的切割，我們預期我們的方法應能有較佳的編碼效能與容錯能力。至於如何結 合多種切割法來達到最好效能，是我們研究的重點。第二年的研究著重在hierarchical B 架構上錯誤隱藏方法(error concealment)之設計。由於hierarchical B 是階層式的架構，不 同frame 在不同階層上有不同的重要性及參考方式，必須考慮這些特性來設計適合的錯 誤隱藏方法，無法直接使用傳統的錯誤隱藏方式。同時，我們也希望兼顧視訊資料內容 的特性及網路狀況，來使我們的錯誤隱藏方法達到最好的容錯效果。

Multiple description coding (MDC) is a technique of striping a video sequence into two or more descriptions in such a way that each description is independently decodable. MDC technique is very suitable to Peer-to-Peer (or P2P) network which, due to its low-cost and scalability, has been widely used for various applications. However, not all the applications can take advantages of P2P networks due to the problems of heterogeneous devices and dynamic network condition. Multiple description coding (MDC) addresses such problems by means of striping a video sequence of high bit-rate into more descriptions with low bit-rates. The quality of video improves with each received description, so devices can choose the number of descriptions to receive according to their capability. If some descriptions are lost, the playback can continue with gradual quality reduction instead of complete failure. There have been a number of proposals for MDC coding, each providing their own tradeoff between coding efficiency and error resilience. However, the solutions proposed so far still suffer from poor coding efficiency. Therefore, in this project, we plan to provide a MDC solution to meeting the requirements of P2P streaming applications. Hierarchical B-frame prediction structure (called hierarchical B) is a technique in which B frames are arranged in a hierarchical way with two-way prediction so that coding efficiency can be increased. In this project, we would like to build our MDC method on it. There are two goals that we would like to achieve in two years: 1. Study on designing coding efficient MDC methods based on hierarchical B architecture, 2. Study on designing error concealment methods based on hierarchical B architectures. In the first year, we will focus on the design of MDC methods which improve coding efficiency by using hierarchical B and hybrid segmentation methods, where the hybrid segmentation means to combine several segmentation techniques (e.g., spatial, temporal, or frequency segmentations) on a single video stream. In the second year, we will focus on designing error concealment methods which combines different techniques and take hierarchical B structure, network conditions, and video content characteristics into considerations to improve the error resilience of the proposed MDC methods.