影帶中特定人物的搜尋

Abstract

本論文之研究目的在於建立一個以特定人物為目標的搜尋系統。近年來，隨著犯罪案件的增加，警方在於找尋嫌疑犯上必須花費大量的時間與人力。因此，我們希望建立一個人物協尋系統，可以減少警方因人眼觀察比對而投入的大量人力。系統的目標是給定一個人物影像後，能自動的將在其他錄影片段中找到與此人相似的人物，而系統的主要目的為自動過濾掉非相似的人物，減少花在比對非相似人物的人力與時間。我們所提出的系統，分成四個部份: 影帶中前景人物的偵測、人物的身體部位切割與特徵抽取、特徵選取和人物尋找。 第一個部分，影帶中前景人物的偵測。我們使用最簡單的方法來偵測影帶中的移動物體---連續畫面相減，不過我們做了修改，可用來抑制影子。另外，我們提出一種機制來決定影帶中移動人物的位置。然而，因為背景顏色的與前景人物的衣著顏色相似，會有偵測出的前景區域破碎的問題，所以我們使用邊緣偵測的方式，來將遺失的前景區域補回。最後，我們處理多人物平行移動的情況，來將平行移動的人物分開來。 第二個部份，人物的身體部位切割與特徵抽取。當抽取出移動人物後，為了要比對影帶中的人物與目標人物，我們需要做特徵的抽取以進行比對，然而，根據身體部位的不同，我們比對時的權重也有所不同，因此我們將人物分為三個主要部位。這一部份描述我們如何將人物切成三個身體部位，以及如何對各別的身體部位做特徵的抽取。 第三個部份，特徵選取。在前一部份，我們提出了許多不同部位的特徵，然而並非所有的特徵皆是有鑑別性的，也就是說，我們必須選出較有鑑別性的那些特徵來作為比對的依據，因此，這一部份主要介紹我們選取特徵的依據與方法，針對不同的身體部分，該選哪些特徵以及如何選取。 第四個部份，人物尋找。有了具有鑑別性的特徵後，這一部份主要介紹如何做單張影像中人物的相似度測量，其中包含同一身體部分不同特徵間的整合，及不同身體部分的相似度整合。有了人物比對的相似度定義與衡量，我們就可以從許多影帶中找出與目標人物相似的人。 實驗的部份，我們測試了實際情況中影帶中前景人物的偵測、人物的身體部位切割和人物比對。實驗結果發現我們所提出來的機制有著不錯的效果，我們可以利用這個機制來協助警方找尋特定人物。

The purpose of this thesis is to construct a specific person searching system when given a target suspect image. With the increasing crimes, the police will waste much time to search and match the suspects in videos manually. In this thesis, we aim to develop a suspect searching system to decrease the manpower in matching with video suspects. We will filter dissimilar video suspects. The system consists of four stages: human detecting, human body decomposition and feature measurement, feature selection, and human searching. In the first stage, human detection, we use the frame differencing procedure to detect moving persons in a video. We propose a modified frame difference method to suppress shadows. We also propose a mechanism to decide the suspect positions in the video sequence. Because of the color similarity of the suspect’s dress and background, fragmental foreground regions may be detected. To solve this problem, we use an edge-based method to fill the lost foreground regions. Finally, connected persons are spited. In the second stage, human body decomposition and feature measurement, after detection of the moving suspect in a video sequence, we need measure feature values for suspect searching. Since the weights for matching the body parts may differ, we decompose the human body into three parts. Because not all the features are discriminate, we need select discriminate features for human matching. Hence, we propose a mechanism to select different features in different body parts. In the fourth stage, human searching, we measure the similarity of the suspect in a video frame, including the combination of different features in a body part and the combination of the similarities in different body parts. According to difference measurements we define we can find suspects in videos. In the experiments, we test cases of human detection, body part segmentation and human searching. The experimental results show that our system is very effective for human searching.