技術名稱 AI賦能棒球賽事轉播驅動多模態事件標記技術
計畫單位 國立臺灣科技大學電機工程系
計畫主持人 陳俊良
技術簡介
本系統以多模態架構整合棒球語料領域微調語音辨識(ASR)、LLM 意圖槽位解析與 YOLO+OCR 計分板狀態機,對轉播語音、字幕與影像進行時序對齊與跨模態交叉驗證,自動偵測全壘打、三振、保送等關鍵事件並支援選手綽號解析,結構化標記後提供自然語言語音查詢介面即時回傳對應影片片段。
科學突破性
三層多模態架構(ASR→LLM 槽位解析→YOLO+OCR 狀態機)實現轉播影片零人工標記全自動化流程;LLM 層以意圖抽取與實體消歧支援球員綽號解析及語音誤辨糾錯,查詢層透過 API 路由確保不直接生成 SQL;跨模態時序對齊機制自轉播語音、字幕與計分板影像自動提取結構化事件邊界。
產業應用性
本技術可應用於職業球團戰情分析(精準事件片段即時檢索)、媒體製播精彩片段自動化生成、球迷互動語音點播服務,以及賽事轉播商結構化影音資產管理;資料庫架構以事件驅動設計可延伸支援球探選秀評估、跨賽季績效追蹤與多球種場域移植。
  • 聯絡人
  • 邱詩評
其他人也看了