本研究將基於影像與音樂多媒體資料分析技術，並希望結合無線通訊技術，設計一前瞻之「情緒感知之跨媒體瀏覽系統」，使用者可透過高親和力之使用者介面，毋須受限於地點之限制，配合圖片情緒，觀賞具有適當背景音樂的圖片。本計劃架構，其流程為：多媒體影音資料經過內涵特徵擷取分析之後，這些內涵特徵透過情緒感知技術產生一個”音樂情緒感知模式”與一個”圖片情緒感知模式”，再透過”圖片音樂校對技術”，將音樂伴隨著圖片順序播放，營造一個高品質的瀏覽環境。
以本研究而言，發展一跨媒體播放技術架構，其中最重要的環節就是如何去做索引，然後校對技術則是針對這些多媒體的索引值來提高效能與效率。一般而言，多媒體的索引作法大致上可分為兩類，一種是以多媒體本身的低階特徵值來做為索引，另一種則是以人類的觀點來做索引值，也就是此研究之重點：替多媒體下情緒註解。在此，我們探討之多媒體範圍將限制在照片與音樂，來發展替照片與音樂自動下情緒註解的技術，以支援簡便的多媒體校對與播放技術。
為了達成上述的功能目標，我們必須更深入地分析多媒體資料特徵，本計畫也將提出利用使用者資料探勘技術與模糊理論來近一步分析這些影像資料特徵，資料探勘技術可以從大量資料中挖掘出有用的資訊或樣式（pattern），可提供資料索引時重要的協助。而模糊理論則可將數值型資料轉換為語意資料，有助於分析與使用。最後，我們將整合後端的註解技術，研發圖片音樂校對技術，並發展一套具親和力、並可實際應用於智慧屋(Smart Home) 的使用者操作介面。
本計畫之研究重點包含以下項目：1) 以視覺樣式亂度為基礎之圖片情緒感知技術，2) 以聽覺序列樣式為基礎之音樂情緒感知技術，3) 高效能之智慧型圖片音樂校對技術

大部分現有的電子相簿，僅提供一個直覺的管理工具，讓使用者以視覺上的瀏覽方式，而忽略了聽覺上的感受，這也大大降低了瀏覽的情趣，因此我們提出了「情緒感知之跨媒體瀏覽系統」，提供使用者視覺與聽覺上的雙重饗宴。

將本專案技術成為一套支援網際網路架構之跨媒體瀏覽系統，並實際導入應用於智慧居家電子相框或美術館等典藏機構。