技術名稱 職業棒球賽事智能剪輯與數據紀錄分析系統
計畫單位 逢甲大學
計畫主持人 許懷中
技術簡介
我們提出一個能夠以人工智慧電腦視覺技術自動化剪輯職業棒球賽事投打對決影像片段,自動分析並且記錄攻守數據的智能化 AI 球探與 AI 數據記錄員,經過適當的調整與訓練,此項技術將可以廣泛地運用於各國職棒賽事轉播上,就相當於我們利用人工智慧全天候地監看世界各國職棒賽事,並且加以記錄。

其中影片以及打席結果剪輯的部份,我們是以遷移式學習為基礎的人工智慧電腦視覺技術,針對職業棒球賽事轉播進行智能剪輯,將其中投打的逐球對決畫面以及打席結果剪出,該系統能夠自動地從一部棒球比賽中剪輯出所有的投打畫面,平均能夠節省職棒球探或情蒐人員將近 90% 的影片剪輯時間。

技術上,我們以 InceptionResNetV2 預訓練模型出發,使用從 CPBL TV 所取得之影音片段,以及台體大團隊的人工標記為基礎,在不使用大量數據的前題下,將預訓練模型進一步訓瀲為可以從職棒賽事影像中提取圖像特徵並且辨識賽事場景的電腦視覺技術;為了進一步提升系統效能,其中,我們還使用物件辨識模型 Yolov4 抓取預測片段中的特殊物件,並且使用貝茲曲線優化剪及效果,如此,我們的系統一方面可以判斷過濾每個預測片段將智能剪輯的結果最佳化,另一方面還能抓出所有片段的棒球數據資訊,並且進行自動記錄。

而在逐球分析與打席結果分析上,我們則以既有的物件辨識技術如 Yolov4 為基礎,搭配各種後處理以及分析程式,將投打對決或打席結果片段中發生的事情,直接轉換成數據,或者藉由 Sequence-to-sequence 技術轉換成為文字紀錄後,再行轉換成為數儲存,此項系統可以供給職棒隊伍情蒐對手、或外國球員,也可以用於國家隊情蒐國外在小聯盟打拼的潛在對手,同時省去大量繁雜的影片剪輯工作,令專業球探以及情蒐人員可以將其精力專注於其專業分析之上。
科學突破性
這項技術的重點在於將目前蓬勃發展的眾多深度學習電腦視覺技術,整合並且應用於體育賽事轉播之上,目前已經完成雛型開發,可以快速運用於國內職棒球員、賽事情蒐以及球探用途,未來也僅需進一步蒐集標籤,就可以將此項技術運用於外國職棒賽事轉播之上。
產業應用性
此技術可以大幅度減少職棒球探與情蒐人員剪輯影片與紀錄數據的時間,可供職棒球團或國家隊利用,持續發展後將能針對世界各國有轉播的職業棒球賽事,進行全面性的自動化情蒐,並且建立球員數據庫供找尋外援或對手研究之用。
關鍵字 人工智慧 電腦視覺 職業棒球 自動影片剪輯 自動數據紀錄 情蒐 球探 棒球數據分析 遷移式學習 物件辨識
備註
  • 聯絡人
  • 許懷中
其他人也看了