研究自動迴歸技術在提升影片播放速率與多重描述視訊編碼上之應用

Abstract

自動迴歸分析(auto-regression analysis) 是在統計學上的一種方法，主要是對資料之間的關係建立模型，目的在於了解資料間是否相關，以便觀察或預測我們感興趣的資料。自動回歸的技術可用在影像或視訊資料上，對已知的點(pixel)建模去預測不存在的點或重建遺失的點。因此，在一些應用如: 增加影像解析度，增加視訊播放速率(frame rate up-conversion, FRUC)，錯誤隱藏方法(error concealment)等當中，可以看到使用該技術的例子。在現有的方法中，有的只利用到資料在空間上的關係、有的則只利用到時間上的關係、有的雖然同時利用空間與時間的關係，但所建出的回歸模型太複雜，需要求解的回歸係數太多，也往往需iteration多次才能得到較佳解，不適用在實際的應用中。有鑑於此，本計畫擬進行的研究之一，是改善目前在FRUC應用中的迴歸技術。 另一方面，多重描述編碼法(Multiple Descriptor Coding，簡稱MDC)是一種將影片切割成多個子影片(或稱描述檔，description)的視訊編碼法，非常適合用於網路上的影音串流的應用中。由於它將高頻寬的影音資料切割成多個低頻寬的描述檔，使得低階設備也能參與上載或下載較低頻寬的描述檔，而高階設備則能藉著接收多個描述檔來解出較高品質的影片。此外，由於多重描述編碼所切割出來的描述檔是可以被個別獨立解碼的，且各描述檔在傳輸時可走不同路徑，因此，有封包遺失時可藉由其他描述檔的內容來加以修復，大幅減低封包遺失對影片品質的影響。此編碼法雖然能為設備的異質性與網路的封包遺失提供解決之道，然而編碼效能差卻是它主要的問題所在。在多重描述編碼中，因為資料間的關係被切割分散在不同描述檔中，無法充分利用，造成整體編碼的資料量遠高於一般標準編碼所產生的資料量。因此，本計畫擬進行的另一部份研究，是將回歸分析技術用於多重描述編碼中，以達到減少多餘的資料量，並維持容錯能力的目的。 此研究計畫中，我們預計以兩年為期完成以下兩個目標：１.改善目前在增加視訊播放速率(frame rate up conversion)應用中的迴歸技術; 2.將回歸技術用在多重視訊編碼上。第一年的研究著重在減少使用回歸技術之計算複雜度，並進一步提升其所產生的畫面品質，使其更適用在實際系統中。我們擬為資料的空間與時間相關性分別建構不同的回歸模型，再設計一個選擇適當回歸模型的機制，來達到減少計算複雜度並維持原有畫面品質的目的；同時我們也將利用動態改變回歸模型中使用的training window大小，來進一步提升畫面品質。第二年的研究著重在將回歸技術用在多重描述視訊編碼上，希望利用少量的 redundancy，達到較佳的資料容錯能力。由於回歸技術能為資料間的關係建模，我們的作法是在描述擋內加入回歸係數，以保留資料間的相關性，由於回歸係數的資料量遠小於原始資料的量，因此我們預期所使用的方法能用少量的 redundancy，達到不錯的容錯能力。

Auto-regressive (AR) analysis is a technique to model the relationship between data, and therefore, it can be used to interpolate and recover “dirt” areas in image sequences. AR model has been applied in many applications, such as frame-resolution up scaling, frame-rate up conversion, error concealment, super-resolution, video data forecasting, etc. Current methods utilizing AR model take either spatial or temporal relationship into considerations only. Even though some methods take both relationships into account, they suffer from large computation complexity and thus are not practical for real applications. Therefore, one of our project goals is to improve the AR model used in frame-rate up conversion. Multiple description coding (MDC) is a technique of striping a video sequence into two or more descriptions in such a way that each description is independently decodable. MDC technique is very suitable in streaming application for handling heterogeneous devices and dynamic network conditions. By means of striping a video sequence of high bit-rate into more descriptions with low bit-rates, devices can choose the number of descriptions to receive according to their capability; besides, if some descriptions are lost, the playback can continue with gradual quality reduction instead of complete failure. Although MDC provides a good solution or streaming application, it suffers from the problem of poor coding efficiency. Hence, the other goal of this project is to propose a MDC method which incorporates AR model to utilize little redundancy and provide error robustness for coded video sequences. There are two goals that we would like to achieve in two years: 1. Study on improving AR model used in frame rate up-conversion, 2. Study on designing a MDC approach based on AR model. In the first year, we plan to separate temporal and spatial relationships in AR models and adopt an adaptive selection mechanism to reduce the computational complexity. We also plan to dynamically select appropriate training window sizes used in the AR model in order to further improve the produced frame quality. In the second year, we will focus on designing a MDC method which incorporates the parameters of AR model in to produced descriptors. By maintaining data relationship using AR parameters in MDC, we expect that this method can use little redundancy to greatly improve the error robustness.