有局部訓練性質的高階連屬神經網路設計方法

Abstract

類神經網路是最近很有潛力的研究主題之 一.從內部結構來說,類神經網路是由許彼此間 相互連接,且能夠同時運算的神經元所構成,有 平行處理的特性及學習與容錯的能力,應用層 面相當廣泛.在Hopfield類神經網路的模型中,可 應用於解決內容連屬記憶的問題,亦即由內容 資料去判定其為某種類的物體,簡言之,即有圖 樣歸屬與辨認的功能.Hopfield速屬記憶實現時非 常簡單,是以參考向量的外積和為其記憶矩陣, Wij,但是Hopfield連屬記憶的一個缺點為記憶容量 甚小,欲達到相當好的記憶回想正確率,記憶的 參考向量個數M最多約為參考向量長度N的0.15倍 .欲改善此缺點,可利用新的設計方法,改變連屬 記憶的架構成高階連屬記憶的型式.高階連屬 記憶網路因為增加了參考向量高階的相關( Correlation)關係,故可以提高記憶回想正確率,且 在於不變性的圖形識別很有用.但是文獻上對 高階連屬記憶的設計方法並不多,主要的都是 直接推廣赫比式(Hebbian)學習法則去設計.由於 一階之赫比連屬記憶網路有很大的改進空間, 我們推想高階連屬網路亦應可以改進不少記憶 效能,此為本計畫的主要目的.連屬神經網路必 需將參考向量記憶於網路系統的固定點上的基 本條件,我們的研究首先推導出.然後再設法把 每個參考向量的收斂半徑放大,以期達到最佳 的雜訊容忍度,以期達到最佳的記憶效果.為滿足此條件,經由分析與推理,我們覺得perceptron學 習法則為合適的方法,且對神經網路的學習來 說,此法則有局部學習的特性,很能配合神經網 路與自然界的特質,較快且佳的訓練學習成果 是可以預期的.在學習與訓練的步驟中,我們亦 將嘗試用適應性的學習法,如relaxation方法,以增 進perceptron的訓練收斂速度.