應用於立體電視之即時高畫質90fps視差估測設計

Abstract

應用於立體電視之即時高畫質90fps視差估測設計 研究生: 鄭兆傑 指導教授: 張添烜博士

國立交通大學 電子工程學系 電子研究所碩士班

摘要 應用於立體電視的視差估測演算法一直有著高計算複雜度與高記憶體存取的問題，尤其是對一些全域最佳化的演算法來說這樣的問題更加嚴重。也因此這促使了我們以VLSI設計來達成及時運算的動機。 為了解決上述的問題，這篇論文提出了在循序掃描前提下使用的邊緣調整最佳化來避免全域最佳化造成的巨大記憶體與計算量，同時我們也使用錯誤視差修復的演算法來維持與全域計算演算法類似的品質。同時我們以帶狀運算的架構設計來進一步減少記憶體使用並尋找最大程度的資料重複利用，資料的重複利用能夠有效減少頻寬的使用。 最後我們以90奈米製程完成了我們的設計，這個硬體需要約2741K個邏輯閘並且可以處理Full HD的影像並且在視差最大值為128的情況下每秒計算90張影像，總計算量高達23.89G。同時我們的硬體可以得到提供深度圖給影像合成演算法並且得到與MPEG DERS類似的品質。如果我們將記憶體使用和可以達成類似功能的硬體做比較，我們只需要約11%的記憶體空間與13%的頻寬。

Real Time Full HD 90fps Strip-based Disparity Estimation Design for 3DTV Applications Student: Chao-Chieh Cheng Advisor: Dr. Tian-Sheuan Chang Department of Electronics Engineering & Institute of Electronics National Chiao Tung University

ABSTRACT

Disparity estimation for 3DTV applications suffers from high computational complexity and memory access, especially for high quality methods with global optimization, which motivates us to do VLSI implementation for real time applications. To address above issues, this thesis proposes a depth estimation method with edge-adaptive optimization in raster scan order to avoid large memory footprint and high computational complexity of the global optimization method while still keep good disparity map quality with following refinement stages. The corresponding architecture design adopts a strip based processing unit to further reduce on-chip memory buffer and exploits possible reuse of input data to minimize the memory bandwidth. The final implementation with 90nm CMOS process can process full HD video with 2741K gate count, depth range of 128 and 90fps capability in a three views system, which is equivalent to the throughput of 23.89G pixel-disparities and has similar synthesized video quality as that by MPEG DERS. Compared to the previous approach, this design consumes only 11% of memory usage and 13% of bandwidth to process the full HD video in real time.