現代醫(yī)學的發(fā)展，幾乎依賴于所有的基礎科學和應用科學的進步。作為一名神經外科醫(yī)生，看著腦部CT或MRI膠片，依賴于自己的豐富經驗，就進入手術室的年代，正在遠去。近十多年來，多模態(tài)影像融合技術，已經日臻完善。在手術之前，通過計算機軟件，將患者頭部的CT、磁共振、PET（正電子發(fā)射計算機斷層掃描成像）等等多種影像融合，并且3D重建出來，可以讓醫(yī)生充分了解病變的信息，制定優(yōu)化的手術策略，這些，在清華大學玉泉醫(yī)院（清華大學中西醫(yī)結合醫(yī)院）神經外科三病區(qū)已經是每臺手術的必備項目。

近幾年來又提出了新的需求：能否把計算機3D重建的虛擬圖像，映射到患者的頭部？這將更直觀地讓醫(yī)生“看”到腦部的各個結構層次。早在三年前，市場上已經出現了諸多小型、便于移動的投影儀，使用起來很方便。利用這種便攜式投影儀，就可以把計算機上顯示的圖像投射到患者的頭部，不過，操作起來并不方便，醫(yī)生需要不斷調整距離和角度，才能讓圖像和患者實際的頭部重合，而且也有一定的誤差，臨床應用受到了限制。

神經外科三病區(qū)和清華大學生物醫(yī)學工程系以及社會力量共同合作，開發(fā)出一種新技術——將攝像頭和投影儀整合在一起，通過軟件控制，讓虛擬和現實可以實時融為一體。醫(yī)生需先在軟件里進行影像的融合與3D重建，并設計好手術路徑。在手術前，對患者的頭部進行實時掃描，攝像頭采集信息，在計算機內生成一個3D的表面輪廓，然后和事先通過影像重建的模型自動進行匹配，就可以在患者頭部表面精準地投射出重建的模型。根據需要，醫(yī)生可以直觀地看到想看的結構，例如，顱骨、血管、病變等等，可對手術路徑做進一步的改良與優(yōu)化。

視頻中所顯示的，是在2022年底，神經外科三病區(qū)在一臺普通開顱手術前的早晨，應用這種智能視覺識別技術，優(yōu)化手術方案的場景。另外這種解決方案，對現有條件要求不高，硬件也小巧且便攜，很容易普及。

其實，早在2019年，剛剛提出虛擬與現實融合的需求時，神經外科三病區(qū)就同時在研發(fā)更高一級的應用場景，將這種智能視覺識別技術和導航或者神經外科手術機器人結合起來，將會更加方便地輔助醫(yī)生改進手術方案，也會讓手術變得更加安全，創(chuàng)傷也更小。目前，工程樣機已經完成，實驗數據顯示，特別是對于微創(chuàng)手術，大大提高了安全性和高效性，此技術即將開展臨床應用。