| 技術名稱 | 生成式 AI 推理加速器 - 專為大型語言模型設計，實現高效低延遲推理 | ||
|---|---|---|---|
| 計畫單位 | HyperAccel | ||
| 計畫主持人 | Joo-Young Kim | ||
| 技術簡介 | HyperAccel 的 BerthaE AI 晶片，專為邊緣端的生成式與自主式 AI 而生。由於 LLM 推論常受限於記憶體瓶頸，BerthaE 優化了記憶體存取，達到 90 頻寬利用率（相較 GPU 僅 50）。同時具備最佳化的資料流架構、運算資源與晶片互連設計，使 LLM 推論效能更高效。 |
||
| 產業應用性 | HyperAccel 是一家無晶圓廠半導體公司，專注於開發 AI 晶片，推動生成式 AI 的普及應用。鎖定推論 (Inference) 而非訓練，打造生成式 AI 專用半導體與解決方案，讓先進科技普及並造福大眾。 |
||
