個人助理機器人關鍵視覺功能之建立與應用(I)

Abstract

本計劃之目的在於利用電腦視覺技術，提供「個人助理機器人」智慧中之 視覺功能，使其能藉以偵知本身及週遭之物體位置，並能依個人助理工作所需 規劃出安全且有效率的行進路線或肢體動作。另外，還能夠對於視覺所見之人 物，進行類似人類的辨識行為。由於個人所處環境中物件位置之多變性，機器 人在偵測週遭景物時，除了可以借助已知的地形、地物資訊之外，更需要能針 對已改變的景物加以偵測、重建。本計劃為先前的「先進家用機器人之研製」 三年計畫所發展的電腦視覺技術之延伸。在先前的計畫中，我們對於機器人視 覺系統之最主要功能 – 藉由二維影像重建三維資訊，完成了關鍵技術之發 展，包括：（1）影像特徵點之擷取、對應與追蹤，（2）三維景物之重建，以及 （3）非完全重建之三維資訊「相對仿射結構」（Relative Affine Structure）， 於臉孔辨識之應用。在往後三年的計畫中，我們將對於更為貼近個人之個人助 理機器人系統所需之關鍵視覺功能之建立與應用，進行更深入，務實之研發； 同時，也將探討、開拓其先進之應用方向，如個人學習與娛樂。本計劃之主要 任務除了在於提供個人助理機器人各子系統有關視覺之資訊，以遂行其任務， 亦將藉由各子系統所提供之資訊，來增進其視覺效能。 第一年、 利用已知資訊提升三維資訊重建之精確度、穩定性 1. 研究利用已知機器人資訊（如轉軸角度），改善三維重建與自身定位之方 法。 2. 探討不同已知景物資訊（如景深、視角）對於定位、重建精確度之影響。 3. 研究利用三維重建，估測機械手臂與目標物體之相對工作空間關係。 4. 整合其他機器人模組，探討精確控制各種機械手臂動作之有效方法。 5. 探討使用低解析度（320＊240）攝影機之資訊，對於三維定位、重建之影 響。 第二年、 快速、有效臉孔影像分析、辨識之研究 1. 探討與比較各式單色、彩色影像人臉偵測、定位之方法。2. 研究與探討臉部五官外型與特徵點之有效擷取方法。 3. 進行相對三維（仿射）結構相對於特徵點影像位置之誤差分析。 4. 探討不同參考資訊（參考平面）對於相對三維結構之臉孔鑑別程度之影響。 5. 整合其他機器人模組，如語音辨識系統，提升機器人系統之個人辨識功能。 有別於一般的臉孔辨識方法，此處的方法使用的並非單張影像，而是多張 影像所提供的相對三維資訊(不需三維重建)。因此，在不影響特徵擷取的條件 下，允許臉孔有較大的轉向。唯於辨識階段，使用單張或多張影像皆可。 第三年、 機器人系統與個人即時互動所需關鍵視覺功能之應用研究 1. 探討一般動態影像特徵（如角點、邊線、區塊）偵測、追蹤之方法。 2. 探討與比較人體影像偵測與其輪廓描繪之有效方法。 3. 研究分析人體四肢、手指之（動態）動作與（靜態）姿態之視覺功能。 4. 研發機器人於先進應用方向，如個人學習、娛樂等應用，所需之特殊視覺 與系統整合功能。 5. 開發個人助理機器人之其他人機介面功能

The goal of this project is, by using proper computer vision techniques, to provide a personal assistant robotic system with visual functions so that it can correctly locate surrounding objects, and itself, and perform collision-free path planning efficiently. Moreover, such a robot should also have human-like intelligence, e.g., for object and face identification. Due to the varying nature of the environment near a person, a personal assistant robot should be able to detect changes in the scenes, especially using certain known landmarks, and reconstruct corresponding 3D structures. This project is an extension of the ongoing 3-year project 「Research and Development of Computer Vision System of Home Robot」. So far in this project, we have developed key techniques for the main function of the robot vision system, i.e., the reconstruction of 3D scenes using 2D images. Such techniques include: (1) the extraction, matching, and tracking of image feature points, (2) the reconstruction of 3D scenes, and (3) using relative affine structure in face 93WFA0600085_C011CABS 第 3 頁，共 4 頁 verification. In the proposed 3-year project, we will continue the research to develop key visual functions for a robot working more closely to human; and identify major and advanced applications, e.g., personal education and entertainment, of such a robotic system. In summary, our aim is to provide visual information to the personal assistant robot to enhance its capability and, in the other direction, to collect information from other robot sub-systems to improve the performance of the robot vision. Year 1: Utilization of known information to improve the accuracy and stability of 3D reconstruction 1. Research on using known robot information, e.g., joint angles, for better reconstruction and self localization 2. Investigate effects of different known scene information, e.g. depth or view angle, on the accuracy on recognition and localization 3. Research on the estimation of the relative locations in the workspace ofrobot arm and target object through 3D reconstruction. 4. Develop effective ways of controlling the movement of robot arm using information provided by other robot subsystems. 5. Investigate effects of using low resolution, say 320*240 pixels/frame, cameras on reconstruction and self localization Year 2: Research on fast and effective analysis and recognition of human faces 1. Survey and compare different face detection/verification methods for gray-scale as well as color images. 2. Research on effective ways of extracting various facial features including eyes, nose, ear lobes, etc. 3. Error analysis for the calculation of relative affine structure with respect to different image pixel locations. 4. Investigate the effects of different reference information (reference planes) on the effectiveness of using relative affine structure for face recognition. 5. Incorporate functions provided by other robot subsystems, e.g., speech recognition, to improve the identity verification ability of the robot