基於多重結構分析聆聽情緒相似度之音樂資訊檢索

Abstract

作曲家利用音符轉述傳達自己的想法來譜寫音樂作品，藉由音符連續不斷的變化構成音樂的主題，多個音樂主題組合產生一段主要旋律，希望使聆聽者在聆聽此音樂片段時有相似的情緒感受並快速地為聆聽者留下印象深刻、難以忘懷的聆聽經驗。許多音樂情緒分類或辨識的研究將聆聽音樂所產生的情緒感受總結為音樂帶給聆聽者的”心情”。在曲式結構中將許多的音樂主題(主歌與副歌)搭配過門音樂做重複性地些微變化串起來譜成完整的音樂，本論文以樂曲訊號之多重主題結構分析為基礎，提出一套基於聆聽情緒相似之音樂檢索系統，協助聆聽者快速地從音樂資料庫中選擇相似聆聽情緒之音樂檔案，並降低音樂資料多重特徵檢索對記憶體的使用量。本系統主要分為多重主題結構分析、音樂情緒比例分析、音樂情緒檢索等三個部份：首先，利用自相關函數(autocorrelation function)分析多重主題的音樂結構，包括前奏(Intro)、主歌(Verse)與副歌(Chorus)等段落。在音樂情緒比例分析方面，引用Thayer提出的情緒模型，將兩百首註有人工標記情緒類別的音樂片段進行特徵萃取與情緒記分，以高斯混合模型(GMM)進行訓練並劃定舒適、哀傷、焦慮與振奮等四個情緒類別的邊界。接著利用此多重主題結構組成的音樂片段做為音樂情緒辨識的測試樣本，計算該音樂所喚起的聆聽情緒比例，最後以距離相似度量測演算法計算任兩段音樂片段之間的情緒相似成分，結果得出並依序列出其聆聽情緒與此檢索音樂片段相似的音樂檔案。系統輸出的使用者介面同時提供此檢索歌曲以及推薦清單中所選歌曲的靜態情緒比例，方便使用者在聆聽歌曲以前快速了解該音樂檔案誘發的聆聽情緒。

Key melodies are the representative fragments of music which may be the themes that people may easily recall once they heard and that breed a pleasurable and memorable listening experience. This study proposes a music linkage jukebox system that recommends listeners a ranked retrieval list with the proportion of music-induced emotions between the query and music bank collections. 200 music clips with emotion-predefined trained to build up the emotion plane, which demarcates the boundaries of four emotions by Gaussian mixture model. In the system, the multi-theme phrases of musical structure, including the Intro, Verse, and the Chorus are analyzed by autocorrelation function as input test structure, then using feature-weighted scoring algorithms to analyze the ingredients of music emotion with five audio feature sets, which represent the characteristics of the testing music clips. The similarity of emotions between music clips are measured by Euclidean distance algorithms. The outputs of the user-interface not only ranks the resembling music files but also offers a static graph with the proportion of music emotion, which can aid user rapidly in understanding the relationship between music-induced and emotions.