基於移動分析之街景圖建構與深度估測

Abstract

由於硬體設備之普及和影像擷取技術的快速進步，智慧型手機、數位攝影機、和數位相機等具備觀看、記錄影像資訊功能的行動裝置可以說是隨手可得，幾乎人人都成了多媒體資訊的製造者與使用者。近年來，由於國內交通運輸工具的遍及，使得國人對於車載之行動攝影裝置「行車記錄器」的需求逐漸攀升。行車記錄器的主要用途之一，是記錄行車的過程，並可在事故發生之後，作為釐清肇事責任之有效證據，因此逐漸成為了車輛必備之裝置。「行車記錄影片內容分析」遂成為當前刻不容緩之研究主題。影片內容包含了道路駕駛過程中遇見的各種人事景物。當發生交通事故時，警政單位常會利用收集事發前後經過該路段附近之行車記錄影片，進行事故之調查。然而，未經整理的龐大資料，將需耗費大量人力與時間以檢視每部影片，並找出相關片段。 本論文提出一套基於行車記錄影片內容分析之街景圖重建與快速索引方法，透過設計一演算法，分析影片畫面的動向以估算畫面移動速度，從而產生根據速率自動調適之街景圖，同時與影片內容建立連結索引。如此一來，使用者將不需看完整部影片，只要藉由瀏覽街景圖，就可以直接了解影片內容概況，並迅速地找出所要檢視之路段。相信這套系統將可有效提升影片審視與危安事件調查之效率。 此外，我們利用畫面移動速度與車輛行駛速度之關係，進一步計算街景深度，有了路邊街景的深度資訊，除了可改善街景圖的視覺品質外，還可用之模擬立體街景模型，幫助使用者了解立體街景狀況，增加導覽系統之豐富性。我們使用行車記錄器錄製的影片進行實驗，實驗結果說明了我們提出的街景圖重建法適用於不同道路及天氣情況。

In recent years, driving video recorders (DVRs) have created a great demand due to their capability of providing strong evidence for car accidents and the reduced cost of digital video capturing devices. A DVR can record road conditions and events along the way, so it can be used for video content analysis. However, it is laborious and tedious for users to search for a specific scene or event from such massive video collections. In this thesis, we propose a motion-based street-view panorama (SP) generation system using front-mounted DVRs. The street-view panorama (SP) can provide a visual summary of the street scenes along the way, allowing users to retrieve a video clip corresponding to a specific road section quickly. Our method provides a novel algorithm for estimating the screen movement between the consecutive frames and thus generating a SP with an appropriate aspect ratio without requiring a constant driving speed. Moreover, by integrating depth information into a SP, we get a high visual quality SP. In addition, the depth of SP provided in our system helps users get more 3D information about the roadside buildings. Experiments conducted on real videos captured by DVRs demonstrate that satisfactory results can be obtained by the proposed motion-based street-view panorama (SP) generation system.