技術名稱 結合語音辨識及物件辨識之智慧英語學習物聯網
計畫單位 正修學校財團法人正修科技大學
計畫主持人 廖奕雯
技術簡介
本平台「結合語音辨識及物件辨識之智慧英語學習物聯網」,透過多項數位學習的整合,讓使用者不再只是用傳統的英文學習方法,許多人學習語言必須在全外語的環境下才能融入其中,而傳統的學習方式,往往都是較單一性的教學,並沒有做到互動式的交流,因此本團隊將語音辨識及影像辨識做整合應用,透過語音辨識去判斷使用者的發音是否正確,也可利用裝置相機去拍攝實體物件,系統透過影像辨識去分析物件後,顯示正確的單字與唸法,再搭配其他互動教材做輔助,呈現一個高智慧的英文學習平台。

本平台的系統功能一「語音學習」,利用智慧音箱當作媒介,本功能提供兩種互動方式,主要為針對口說的部分進行測驗,平台會提出物件圖卡,使用者需要唸出該物件的發音,智慧音箱接收到音訊後進行語音辨識,去判斷使用者的發音是否正確,如發音不正確則主動告知,並說出正確唸法,再來是使用者可直接向智慧音箱詢問物件的英文唸法為何,此功能目的是訓練使用者的口說能力,透過此功能達到互動學習的成效。
系統功能二「影像辨識學習」,使用者直接利用行動裝置上的鏡頭,對物件進行拍照,系統將圖片存入後台,利用Yolo V3進行影像辨識去預測圖片物件,將預測好的結果顯示該物件的英文單字與發音,透過此功能可取代傳統查單字的方式,利用AI人工智慧輔助學習,使用者欲想知道物件資訊只需要拍照即可學到英文發音。
系統功能三「電子書學習」,利用InDisgn製作有聲電子書,依據不同主題做區分的故事內容{動物、食物、生活用具、交通工具},透過有聲圖片、單字及句子的搭配,使得電子書變得更有趣,讓單字不再只是死板的文字,希望藉由畫面與聲音的組合,提升使用者的學習興趣。
系統功能四「圖卡學習」,平台也提供有聲圖卡供使用者一次瀏覽全部物件單字,分為四大類型{動物、食物、生活用具、交通工具},使用者可點擊圖卡播放相對應的英文唸法,提升使用者對物件的聯想力。
系統功能五「成果測驗」,使用者可透過此功能來驗收自我的學習成效,總共為不重複20題的題目,每次測驗的題目均不固定,測驗類型細分為{中翻英、英翻中、圖卡選英文、英文選圖卡},答題完畢送出後,平台會顯示答錯題目的正確解答,反覆練習提升自我的英文程度。
科學突破性
結合影像辨識、智慧音箱、及物聯網技術,透過語孩童對話及互動,開發一套英語對話、實物單字及情境會話學習等功能的「智慧化實物與情境英語學習平台」,學習教材內容可依據使用者學習情況調整其學習的難易程度。期望可透過科技及人工智慧技術,依使用者差異做適性化學習。
產業應用性
本英文學習平台,主要是透過AI人工智慧的整合應用,達到更好的教學成效,此功能可廣泛運用至所有教學單位與外語學習專班,提供更元的學習方式,期望可提升學童的英語學習興趣及學習成效。
關鍵字 英語學習 智慧音箱 語音辨識 物件辨識 物聯網 電子書 英語圖卡 學習興趣 學習成效 智慧型系統
備註
  • 聯絡人
  • 廖奕雯
其他人也看了