傳統的腦部手術，醫師只能憑藉電腦2D顯示的醫學影像(CT, MRI)與臨床經驗來規劃手術路徑，難以確認手術路徑不會碰到腦動脈或重要神經。本項”AR輔助3D腦手術用導航系統”係提供融合一體的3D腦動脈影像模型與3D頭顱模型，作為規劃安全手術路徑與定位導航用。之後透過AR、影像、與病患的註冊，AR眼鏡可將融合後的3D腦動脈血管與器械模型投影並對位到病患頭顱內，醫師戴上AR眼鏡裝置後，可以直覺地觀察到即時投影在病患顱內的3D腦動脈血管模型與手術器械模型相對位置，避免手術器械在手術過程中傷害到腦動脈，進而提升腦手術的安全與效率。臨床應用如腦動脈瘤的夾持或栓塞手術都可在3D引導下進行手術路徑規劃、手術定位或導管導引。
將電腦斷層腦血管影像(Computed Tomography Angiography, CTA)先進行影像處理、之後分割腦血管影像與頭顱、再將分割出的腦血管與頭顱進行3D重建並導入手術導航系統 (後續也可加入擴散張量影像(Diffusion Tensor Imaging, DTI)重建的3D腦神經模型)。之後透過頭顱特徵及光學定位器的量測，將AR眼鏡、手術器械、與手術導航系統達成座標註冊(registration)並整合成同一系統、也就是讓AR顯示的3D腦血管模型與病患頭顱實體對位。此一整合AR的手術導航系統提供3D手術規劃與導引環境，醫師可於手術前規劃避開腦動脈的3D手術路徑，手術中AR眼鏡即時在病患的頭顱內呈現腦動脈血管與手術器械的相對方位關係，目的是讓醫師透過直覺的3D視覺，醫師視野不需在電腦導航畫面與手術位置來回移動，降低腦血管(腦神經)的可能損傷，達到安全有效率的手術。。
又在短期的未來可進一步透過5G的快速低延遲通訊，達到由多模組醫療影像融合、3D手術診斷與規劃、3D AR顯示與導引、機器人操刀等組合的多人同步使用的手術導航系統。

AR輔助3D腦手術用導航系統提供整合成一體的3D腦動脈(神經)、病灶與頭顱模型，作為規劃安全手術路徑與導航用。透過AR眼鏡將融合後的模型投影並對位到病患頭顱內，醫師戴上AR眼鏡後即可直覺地觀察到病患與即時顯示的3D腦動脈血管與手術器械的相對位置，避免手術器械傷害的腦動脈，進而提升腦手術的安全與效率。

腦神經手術用導航系統已是神經外科必備的醫療設備，在全球快速籌建5G設施下，可預期AR將整合到機器人手術導航系統，透過5G的快速低延遲通訊，達到多人同步使用AR的遠距手術應用。依據Grand View的報告全球手術機器人市場2018年為20.1億美元，到2025年止每年的CAGR為22.3%.