基於主動外觀模型及支持向量機之人臉表情辨識系統

Abstract

近年來，隨著科技的日新月異，以及硬體設備的價格越來越親民，電子產品越來越深入人們的生活，科技產品與人們的互動越顯重要。本論文意在開發更符合人性化的人機互動介面，不同於其他系統需要將複雜甚至貴重的儀器穿戴在使用者身上，本系統只需要將攝影機架設在使用者臉部前方即可自動偵測使用者臉部位置，並且經過運算可以判斷出使用者的表情，且特別針對使用者是否佩戴眼鏡的情況設計一個辨識架構，藉此得到使用者情緒的資訊，以供後續建立更直覺及便利的人機互動經驗。 本論文主要分成三大部分：偵測及追蹤人臉位置、擷取人臉特徵、辨識人臉表情。第一部分利用方向梯度直方圖加上支持向量機來偵測畫面中的人臉位置，在實際運用中，會加上追蹤的機制讓這個部分的運算時間大量減少；第二部分利用主動外觀模型演算法(Active Appearance Model)來抓出人臉的形狀以及紋理特徵，結合這兩個資訊；在第三部分以非線性支持向量機作為辨識核心來設計人臉表情辨識架構，以此架構進行表情辨識。本系統以國際通用的extended Cohn-Kanade database來測試，也有使用本論文所建立的資料庫進行測試，所得的辨識率達到93.11%以上。

In this thesis, a facial expression recognition algorithm by integrating Active Appearance Model (AAM) and Radial basis function-Support Vector Machine (RBF-SVM) is presented. Only use an USB webcam as our tool to achieve the goal of facial expression recognition. Our system could be mainly separated into three parts: detection, extraction, and recognition. The face position is found by the support vector machine using Histogram of Oriented Gradients (HOG) features, and then the system tracks the face stably and real-time. In extraction part, Active Appearance Model is applied, which could extract the face’s shape features and the face’s appearance features. In recognition part, Support Vector Machine is applied again, which could distinguish the seven different facial expressions: neutral, anger, disgust, fear, happiness, sadness, surprise and whether the user wears a pair of glasses or not. The performance evaluation is based on the Carnegie Mellon University extended Cohn-Kanade database and our database. The experimental results demonstrate that the correct ratio of face expression recognition is 93.11% averagely.