Browsing by Author "Hsieh Chi-Wen"

Now showing 1 - 1 of 1

結合語音與唇形識別技術研製互動式華語學習系統
(2008)
謝奇文
;
Hsieh Chi-Wen
;
國立交通大學電子物理學系(所)
本計畫中，我們將研製以語音訊號與唇形影像做為互動式的華語學習系統。在語音評分方面利用線性預估分析與倒頻譜分析分別來取出線性預估係數(LPC)、線頻譜對係數(LSP)與梅爾倒頻譜參數(MFCC)三個參數來表示語音聲紋，此外，也取出基頻軌跡 (Pitch Contour)與能量曲線(Energy Curve)分別用來表示語音聲調與強度部分。而唇形影像方面將利用區域成長、型態學、GRB 向量空間分割與橢圓曲線擬合等方法，來取出唇形的高度與寬度當作影像參數。之後利用動態時間扭曲(DTW)演算方式算出標準語音與其它語音在LPC、LSP、MFCC、Pitch Contour、Energy curve 的差異量並配合模糊理論 (Fuzzy Theory)、輻射半徑基底函數網路(RBFNN)與機率神經網路(PNN)來訂出一套判定學習者學習程度的法則，同時我們也將學習者的唇形影像與標準唇形影像利用DTW 演算方式求出兩者唇形在高度與寬度的差異程度，用來提醒使用者需改進的地方達到學習互動上的最佳性。在先期模擬結果中發現，3 種語音聲紋參數LPC、LSP、MFCC，以MFCC 來分辨語音優劣的正確率約為84%為最佳。如果再加上Pitch Contour 與Energy Curve 則分辨語音優劣的正確率將能明顯地再提升，其中以MFCC、Pitch Contour、Energy Curve 為參數並利用DTW 配合PNN 的方式對語音優劣的程度的辨別為最佳，其正確率可達90%。我們也利用了ROC Curve 對華語學習中唇形建議方法評估其可行性。