類神經網路之隨機尋優學習

Abstract

本論文之主旨是針對具有多形（Multimodal）能量函數之類神經網路的學習， 做一些研究與討論。 在這篇論文裡，我們介紹了隨機尋優（Random search） 法的技巧，這種技巧 與梯度下降（Gradient descent）法最大的差別在於搜尋全域最小值的時候，適當 地引入隨機的成份，以增加全域搜尋之能力，和減少對能量函數梯度之依賴，並且 降低初始值對最後收斂結果之影響。另外，在論文裡我們也對幾種隨機尋優法做了 些模擬與分析。在模擬的部份，我們是以一些多形的測試函數假想為類神經網路之 能量函數，來對我們提到的幾種隨機尋優法做測試與分析，而非以實際之神經網路 的學習為例子。這樣做的原因，是為了簡化分析的難度與更清楚地掌握隨機尋優法 的特性。最後，根據模擬之結果，我們對這幾種隨機尋優法做更進一步的比較與討 論，並且評估將這些隨機尋優法應用於實際的神經網路上，以解決多形能量函數學 習問題之可行性。 #9303017 #9303017