即時移除不再使用到的像素來減少real time H.264解碼端解碼圖片緩衝器的容量

Abstract

在標準H.264解碼端中，解碼圖片緩衝器(Decoded Picture Buffer(DPB))占了95%以上的記憶體空間以及95%以上所需的晶片面積。若能有效減少解碼圖片緩衝器所需的記憶體空間，即可降低所需的晶片面積以及電量消耗，特別是針對嵌入式系統而言較為有利。 在此篇paper中，我們主要貢獻在於分析圖片間像素的參考特性，發現每一張圖片在特定時間點後就有60~80%的像素不再被使用，進而可由解碼圖片緩衝器內即時移除。另外，根據資料串流的特性，我們提出適合的解碼工作排程，以達到穩定的圖片輸出率。為了減少解碼圖片緩衝器的儲存空間，我們針對每一張圖片選擇一個適當時機移除不再被使用的像素，並提出一個預先解碼機制事先確認哪些像素在此時機後不再被使用，另外，我們提出一個新的記憶體架構用以管理資料。在不影響解碼效能的情況下，相較於傳統H.264解碼端中，我們的設計在圖片品質上損失4.1%的情況下，能省下62.4%的記憶體空間。在晶片面積以及電量消耗部分，相較於傳統H.264解碼器，能省下66.7%的晶片面積以及56.2%的電量消耗。

In the H.264 video compression standard decoder, the Decode Picture Buffer (DPB) consumes over 95% memory space and the chip area. If we can reduce the DPB size, it can achieve the reduction in chip area and power consumption especial the embedded video decoder. In this paper, we focus on the analysis of the reference behavior among the frames. We find that there are 60% to 80 % of pixels of each frame which are no longer used in specific time. Therefore, we can remove the unused pixels after the specific time to reduce the DPB size. Besides, according to the properties of streaming data, we proposed the suitable decoding pipeline to achieve the steady frame output rate. In order to reduce the DPB size, we propose the suitable time to remove the unused pixels for each frame, a pre-decoding mechanism to obtain the lifetime information of pixels, and new memory architecture to store the frames. Without affecting the decoding performance, our design is able to achieve a 62.4% reduction in storage, with a decrease in image quality less than 4.1%. Compared to the traditional H.264 decoder, our design can achieve a 66.7% reduction in chip area and a 56.2% reduction in power consumption.