| 技術名稱 | AI賦能棒球賽事轉播驅動多模態事件標記技術 | ||
|---|---|---|---|
| 計畫單位 | 國立臺灣科技大學電機工程系 | ||
| 計畫主持人 | 陳俊良 | ||
| 技術簡介 | 本系統以多模態架構整合棒球語料領域微調語音辨識(ASR)、LLM 意圖槽位解析與 YOLO+OCR 計分板狀態機,對轉播語音、字幕與影像進行時序對齊與跨模態交叉驗證,自動偵測全壘打、三振、保送等關鍵事件並支援選手綽號解析,結構化標記後提供自然語言語音查詢介面即時回傳對應影片片段。 |
||
| 科學突破性 | 三層多模態架構(ASR→LLM 槽位解析→YOLO+OCR 狀態機)實現轉播影片零人工標記全自動化流程;LLM 層以意圖抽取與實體消歧支援球員綽號解析及語音誤辨糾錯,查詢層透過 API 路由確保不直接生成 SQL;跨模態時序對齊機制自轉播語音、字幕與計分板影像自動提取結構化事件邊界。 |
||
| 產業應用性 | 本技術可應用於職業球團戰情分析(精準事件片段即時檢索)、媒體製播精彩片段自動化生成、球迷互動語音點播服務,以及賽事轉播商結構化影音資產管理;資料庫架構以事件驅動設計可延伸支援球探選秀評估、跨賽季績效追蹤與多球種場域移植。 |
||