技術名稱 以深度神經網路實現手勢辨識及其硬體架構設計
計畫單位 國立中央大學
計畫主持人 蔡宗漢
技術簡介
技術可分成神經網路模型之訓練,與硬體架構之實現兩部分。在訓練部分,將模型區分為手部切割及手勢辨識,藉由先訓練切割模型作為注意力模型,來輔助辨識模型之辨識率提升;在硬體實現部分,設計深度卷積、逐點卷積、批量正規化及最大池化等模組來加速深度可分離卷積模型,並規劃內外部記憶體排程以減少資料存取時間。
科學突破性
本設計之手勢辨識在OUHANDS進行測試,在模型大小為1.07MB的情況下,辨識率可達到89.25%的表現,在ZCU106開發板上實現,每秒可以辨識52.6張圖片,達65.6 GOPS的計算量,並且在量化內部記憶體後的表現優於現有的深度可分離卷積硬體加速器,在每Mb的內部記憶體可以達到7.01 GOPS的表現。
產業應用性
本技術使用深度神經網路來實現手勢辨識方法,僅使用單CMOS攝影機在複雜場景下也能有很不錯的辨識率,非常適合應用於家庭中的智慧家電上,搭配所提出之神經網路硬體加速器,能夠非常快速的辨識出手勢,提供使用者更便利的操作環境。
關鍵字 深度學習 深度神經網路 卷積神經網路 深度可分離卷積 手部切割 手勢辨識 注意力模型 迭代訓練 硬體加速器 FPGA
備註
  • 聯絡人
  • 童迺婕
其他人也看了