以生理訊號為基礎之人機介面設計與應用人類操控機器的新模式---子計畫二---人類動作、情緒與生理訊號監控系統研發及其於健康狀態偵測與維護之應用(I)

Abstract

本計畫研發一個以影像為基礎的人類動作、表情情緒與生理訊號監控系統，並使用機器學習技術，由所監控影像之動作、表情與生理訊號共同建構一個健康狀態辨認知識系統 [1-4]，以驗證其於健康狀態自動偵測與健康維護應用之可行性。實現的方法是藉由彩色CCD攝影機長期拍攝家裏人的運動情況，自動分析他的動作；另外，再由拍攝臉部影像，自動分析他的表情，輔以過去本實驗室所建立之人臉與表情辨識技術（中性、高興、悲傷），而轉換得到的健康舒適狀態資訊，加上生理訊號的分析與量測（例如：皮膚導電性、血壓、呼吸次數與肌動電流圖等等訊號可用以判斷情緒狀態 [22]），綜合起來藉由機器學習理論，可以對目前與未來短暫時間內身體之健康舒適狀態進行判斷與預測，預測的結果即可自動回報通知給相關之家人或是醫療人員，使其進行相對應的協助或醫療處理。基本上，我們較容易以非查覺式方式取得動作、臉部之監控影像，人動作辨識方面必須能分辨如「正常行走」、「走路緩慢」、「跌倒」、「蹲著」等，臉部表情辨識必須能分辨如「臉色蒼白」、「輕微痛苦」、「痛苦」、或「一般狀態」等身心健康狀況，上述分辨器結果多為符號式結果；生理訊號方面須取得腦波、血壓、心跳、呼吸次數、皮膚導電係數等等訊號做為生理狀態判斷學習的資料，但是相對地，較難以非查覺式方式獲得，但其輸出多為傳統數值型式。由於初步將以健康維護系統應用為主，機器學習處理上述視訊影像、生理等資料，分成兩部分：前段為分類器方法與後段之知識法則式健康判斷系統與預測 [24]。以SVM、BP、統計方法、以及模糊分類方法等，做為對於人體目前之身體狀態分類器演算法，可以使機器學習得到較佳的一般性（generalization）。對於身體健康狀態之預測，將以fuzzy ID3作為演算法基礎 [56]，基於人體正常與健康發生異樣之各種情況事例，進行健康判斷系統知識法則之訓練與建構，使用時則以此建立之知識法則推論，進而預測被觀察者的健康狀態。若能成功建立此一技術架構模式，電腦能自動地「瞭解與判斷」人類之身心舒適與健康狀態，進而即時通知並要求對應的幫助或醫療模式，使得人機介面達到自動化及人性化的遠距醫療目標。