臉部表情自動辨識系統

Abstract

本論文提出一種以類神經分類器來自動辨識臉部表情的系統。首先，我們 使用 粗略輪廓預測副程式 (rough contour estimation routine)、 數學形態學 (mathematical morphology) 以及變形樣本 模型 (deformable template model) 這些影像處理的技術，來擷取眉毛 、 眼睛和嘴巴這三個特徵器官的準確輪廓。 我們再定義 30 個臉部特 徵點 (facial characteristic points) 來描述這三個特徵器官的位置和 形狀。由於運動單元 (Action Units) 可以用來描述 人臉部基本 的肌肉運動，所以臉部表情可以由這些運動單元的組合來表示。 我們 選取六個主要的運動單元當做以類神經網路為基礎的表情分類器的輸入向 量;而這六個運動單元是由臉部特徵點的變化所組合而成的。使用這種方 法我們可以得到很高的辨識率，經由電腦模擬的結果也證明了我們所提出 方法的效果。 This thesis proposes an automatic facial expression recognition system using a neural network classifier. First, we use rough contour estimation routine(RCER), mathematical morphology, and deformable template model to extractthe precise contours of the eyebrows, eyes, and mouth of a face image.Then we define 30 facial characteristic points to describe theposition and shape of these three organs. Because facial expressionscan be described by combining different Action Units, which are used fordescribing the basic muscle movement of a human face, we choose six main actionunits, being composed of facial characteristic points movements, as theinput vectors for the neural network-based expression classifier.Using the method, we have obtained recognition rate of 90.9\%. Simulationresults by computers demonstrate that computers are capable of extractinghigh-level or abstract information like human.