基於MPEG-4 AVC/H.264標準之多視角視訊編解碼

Abstract

由於高畫質三維數位電視(3-D TV)的興起，ISO/IEC MPEG 和ITU-T VCEG 專家群特別 成立了一個聯合視訊專家群(Joint Video Team)藉以共同開發一個可供使用者任意選擇觀 看視角之多視角視訊編解碼技術(Multi-View Video Coding, MVC)。目前，多視角視訊編 解碼(MVC)的開發建構於MPEG-4 AVC/H.264 標準之上。因此，多視角視訊編解碼(MVC) 將成為MPEG-4 AVC/H.264 的一個新興修正案(Amendement 4)。同時，其標準制訂預計 於2008 年完成。 目前在多視角視訊編解碼(MVC)演算法中，主要的難題在於如何有效的進行不同視角和 時間畫面間的預估(Prediction)，使其編碼效率能高於不同視角視訊做個別壓縮的方法 (Simulcast)。根據初步的實驗結果顯示，現階段的多視角視訊編解碼有以下幾點問題： (1) 較差的視角預估(View Prediction):在目前的演算法，P畫面或者是B畫面中的宏塊 (Macroblock)，其中只有10%或者更低的比例會選擇利用不同視角的畫面來預估， 亦即大部分的宏塊(Macroblock)還是選擇以不同時間但相同視角的畫面做估測。因 此，如何克服不同視角畫面之間物體旋轉與大小的變化而做更有效率的估測，依 然是個未解的難題。 (2) 較差的任意存取功能(Random Access):任意存取是多視角視訊編解碼中一個重要 的功能。然而，在現階段的演算法，開啟任意存取功能會造成極顯著的編碼效率 下降。因此，如何適當的打破不同視角和時間畫面間的依存性(Dependency)，同時 最小化編碼效率的下降值得進一步探究。 (3) 較差的熵編碼(Entropy Coding):熵編碼器的效能對於整體多視角視訊編解碼扮演 極關鍵的角色。為了做多視角視訊的編解碼，目前已有許多新的語法被提出。然 而，現階段這些語法所使用的參照模式(Context Model)並沒有考慮到不同視角間的 相關性(Correlations)。所以，如何利用這些已存的相關性(Correlations)來進一步壓 縮亦值得去關注。 (4) 解碼畫面儲存器管理:解碼畫面儲存器管理是達到高壓縮效能的關鍵之一。在多視 角編解碼中，不同視角和時間上的參照畫面皆須被儲存。因此，如何在一群不同 視角和時間畫面之間定義一個編碼順序使得能最小化所需的暫存器並提升編碼效 率亦值得做深入討論。 在本計畫中，我們將討論以上幾點問題。同時，我們將提出新的方法並利用最新的多視 角視訊參照軟體(Joint Multi-View Video Model, JMVM)做驗證。本計畫年度目標包含(1) 改進目前多視角視訊編解碼演算法並提出新的方法，(2)將所提之方法在JMVM 上模 擬，(3)依據研究結果發表2~3 篇會議論文和1~2 篇期刊論文，以及(4)參與多視角視訊 編解碼標準制訂。