單視域之遞迴式深度估測補償

Abstract

本論文提出了一個針對單視域影像的深度估測方法，為了能從單張影像中獲得深度資訊，我們使用了一些深度線索來幫助估測，例如影像中的花紋等。此外，移動向量這個深度線索常在連續兩張影像中使用，大部分對於單視域影像的深度估測都是將這些深度線索做線性加成而得到初始的深度估測圖，然而將各個深度線索線性加成所使用的權重分配並沒有一套有系統的逼近方法，因此我們提出了一個利用遞迴式的方法來做深度估測的補償。在我們利用線性加成得到初步估測的深度圖之後，便可利用DIBR(Depth Image Based Rendering)的技術合成出左右眼影像對，接著我們把這左右眼影像對利用立體視覺測量法計算深度圖，在本論文使用的立體視覺匹配演算法是Dynamic Programming(DP)，由於DP考慮到了影像像素點之間的關連性，這是初始深度圖估測所沒有的，因此可以得到一個較平滑的深度圖也解決了前景物體內部的深度不正確區塊，在獲得這個新的深度圖之後，我們利用它來補償初步估測的深度圖以得到更好的深度估測效果。實驗中證實本論文提出的方法可有效改進原始的估測深度圖，此外對合成左右眼影像對並利用3D立體顯示器觀賞時也將對人眼更為舒適。

This paper presents a method for depth map estimation from monoscopic video. To estimate depth from single image, some depth cues such as texture is used for initial guess. However motion vectors between current frame and previous frame is more often used. Most methods combine these cues linearly to get initial depth map estimation. However no systematic approach is available for weight estimation. Thus a recursive method is proposed for depth map estimation. After we got initial depth map, we can compute a left/right image pair by DIBR(depth image based rendering). Then this image pair can be used to compute disparity map by using DP(dynamic programming) based on stereo vision. DP takes the depth relation between pixels into account while the initial depth map estimation does not. So this disparity map get smoother depth estimation and fix the problem inside foreground objects. With this new depth map, recursive depth map compensation is used to derive a better depth estimation. Experiment results show our method can improve the original depth map and further more derive the stereo images with better visual comfort.