技術名稱 360° 居家照護助理: 基於多模態表徵學習實現魚眼影像辨識及語音互動
計畫單位 國立清華大學
計畫主持人 孫民
技術簡介
為了提供更好的老人居家照護,我們透過俯視360° Fisheye Camera辨識使用者日常行為,並且能準確的使用語音系統提供協助。
為了提供以上服務,本產品使用「場景語義分割」、「物體偵測」及「人體姿態偵測」,並且全部技術都在Offline上進行,保障使用者的隱私權。
科學突破性
本產品透過嵌入式系統接收影像資訊,傳至本地端電腦,經本地端電腦進行訓練以及推理後,在將推理結果傳到嵌入式系統上進行語音互動。旨在將收到的影像內容透過少量資料辨識後,透過語音與使用者互動,直接從使用者端獲得結果,並作為標註回傳到系統中,藉此增強系統的學習效率。
產業應用性
目前將此技術運用於居家環境,並針對年長者族群進行相關應用設計。根據研究指出65歲以上的長者跌倒的機會變高,後續帶來的影響極大.本產品專注於異常通報,當家中長者出現常見異常行為時,系統在所見範圍內偵測到後會以語音方始與長者互動,確認是否需要協助通報。
關鍵字 邊緣運算 語音互動 場景語義分割 物體偵測 人體姿態偵測 360° Fisheye Camera影像辨識 虛擬資料蒐集系統 遷移學習 行為辨識 智慧家庭助理系統
備註
  • 聯絡人
  • 林誠展