結合影像及語音之雙模情緒辨識系統

Abstract

本論文研究結合人臉影像及語音之雙模情緒辨識系統。文中提出一種新的雙模辨識策略：透過兩種資訊辨識情緒，對辨識的可靠度設定不同的權重，用以決定要該採用何種資訊。雙模資訊權重的數值，是透過SVM理論中測試資料距超平面的距離，以及訓練資料之標準差，接著再經由訓練資料距超平面的平均距離正規化後決定，此權重係數即可以判斷分類的可靠度。由於需要辨識多種情緒，在辨識某兩類的情緒時，採用權重較高資訊的辨識結果，可以修正其它資訊錯誤的分類，而原本被修正的資訊在下一步辨識另兩類情緒時，可能其權重較高，亦可修正另一方的資訊辨識結果，如此可以提高原有單一資訊辨識的準確性。在以人臉表情辨識方面，基於以SVM兩兩表情辨識之設計，本論文提出針對不同表情進行關鍵特徵辨識。整套系統已在實驗室開發的嵌入式數位訊號處理器(DSP)平台予以實現，擷取特徵後予以分類辨識，完成高興、生氣、普通、傷心與驚訝五種情緒即時辨識系統，雙模辨識率可達86.85%，比只用人臉影像辨識高5.1%。