本發明屬于醫療器械領域，具體涉及一種增強現實無線電子內窺鏡手術系統。

背景技術：

目前，醫療機器人技術的研究已經成為國際機器人領域的前沿研究熱點之一，醫務人員和科學工程技術人員緊密配合，研究開發了一些醫用外科手術系統，但目前還未有水平高的很成熟的系統應用于臨床實踐中。

現有的電子內窺鏡手術系統，其主要組成為各種形式的內窺鏡、光源主機、圖像處理主機及顯示裝置，內窺鏡進入人體腔道后，通過攝像單元采集圖像，經圖像處理主機處理后在顯示裝置上顯示出來，供醫生在手術時參考。但醫生在操作手術時，往往需要較長的時間，而長時間盯著顯示裝置的屏幕會使身體的相關部位疲勞度增加，極易影響手術的進行。同時，手術操作時一直盯著屏幕，使醫生無法進行別的操作或查看前期檢查的圖像，降低了手術效率和成功率。

技術實現要素：

本發明解決的技術問題在于提供一種增強現實無線電子內窺鏡手術系統，采用增強現實裝置作為系統顯示裝置的補充，使醫務人員能夠通過增強現實裝置上的微顯示器觀看到內窺鏡采集的圖像及其它圖像，同時不影響醫務人員直接通過眼睛觀察目標。為了實現上述目的，本發明采用了如下技術方案：

一種增強現實無線電子內窺鏡手術系統，該手術系統包括：

內窺鏡，其具有攝像、照明的光學系統，和將彎曲部設在前端部分的長條狀插入部；

支架總成以及安裝在支架總成上的光源主機、成像主機和顯示裝置；其中，

所述光源主機具有光源及光源接口，并通過光纖連接所述內窺鏡的光學系統；

所述成像主機具有圖像處理單元，及連接圖像處理單元的存儲單元和第一無線通信單元，所述圖像處理單元用于接收及處理所述內窺鏡采集的圖像，并傳輸到所述顯示裝置或儲存于存儲單元中；

所述顯示裝置用于顯示經所述圖像處理單元處理過的由所述內窺鏡采集的圖像；還包括，

增強現實裝置，所述增強現實裝置具有支架，以及設于所述支架上的第二無線通信單元、微處理單元和微顯示單元，其中，所述微顯示單元于支架戴在人頭部時位于人眼前方；

所述成像主機的圖像處理單元還用于處理圖像并通過第一無線通信單元進行發送，所述第二無線通信單元用于接收第一無線通信單元發射的圖像信號，所述微處理單元用于控制并驅動所述微顯示單元顯示第二無線通信單元接收的圖像信號。

進一步的，所述顯示裝置包括第一顯示器和第二顯示器，所述第一顯示器設于成像主機上，第二顯示器為專用醫學顯示器；所述第一顯示器還用于操作人員在其顯示屏幕上標記感興趣區域，所述圖像處理單元還用于獲取該感興趣區域，經處理后發送到所述增強現實裝置，并由所述微顯示單元顯示所述感興趣區域。

優選的，所述第一顯示器具有觸摸式顯示屏幕，該觸摸式顯示屏幕用于操作人員通過觸控方式在屏幕上標記感興趣區域。

進一步的，所述微顯示單元通過可調支架安裝于增強現實裝置上，所述可調支架用于調節微顯示單元與人眼之間的距離。

進一步的，所述增強現實裝置上還設有語音接收單元，所述語音接收單元連接所述微處理單元，用于接收語音指令；

所述成像主機的存儲單元還用于存儲外部設備采集的病理圖像；

所述語音接收單元接收到語音指令后，由所述微處理單元通過第二無線通信單元發送到所述圖像處理單元，并由所述圖像處理單元識別語音指令后從存儲單元中調取相應的病理圖像發送到增強現實裝置上的微顯示單元進行顯示。

進一步的，本發明的手術系統還包括骨傳導耳機，所述骨傳導耳機通過第三通信單元和所述成像主機無線連接，用于接受成像主機的提醒指令并發出提示語音。

進一步的，所述內窺鏡還具有位置傳感單元，所述位置傳感單元連接所述成像主機的圖像處理單元；所述位置傳感單元用于檢測內窺鏡所攝圖像的旋轉角度，當位置傳感單元檢測到內窺鏡所攝圖像發生歪斜或倒立時，所述圖像處理單元對內窺鏡采集的圖像進行相應的旋轉以矯正，使所述顯示裝置顯示的圖像始終保持正立。

優選的，所述位置傳感單元為設于內窺鏡里的九軸陀螺儀。

進一步的，本發明的手術系統還包括外接電源，所述外接電源包括可充電電池及掛置部，所述掛置部用于將電源掛置于人體上，所述可充電電池連接增強現實裝置的電源接口。

優選的，所述內窺鏡是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一個或一個以上。

本發明的有益效果：

本發明的增強現實無線電子內窺鏡手術系統，在傳統內窺鏡手術系統的基礎上增加了增強現實裝置，該增強現實眼睛能夠佩戴于醫務人員頭部，并通過設于其上的微顯示單元進行圖像顯示，使醫務人員能夠通過微顯示單元觀看內窺鏡采集的圖像，進行手術操作；或者忽略微顯示單元，直接以正常方式通過眼睛觀察目標，從而將醫務人員的眼睛從現有內窺鏡手術系統的顯示裝置上解放出來，避免了醫務人員因長時間盯著屏幕造成的身體疲勞甚至損傷，也使得手術操作更有效率。

進一步的，醫務人員可以通過本發明的手術系統中的顯示裝置標記內窺鏡采集的圖像中的感興趣區域，并由圖像處理單元對該感興趣區域進一步處理后發送到增強現實裝置上的微顯示單元進行顯示，使操作者對圖像的觀察更加清楚，提高手術準確度。從而大大降低了病人的痛苦、手術創傷和手術費用，縮短了康復時間，同時也減輕了醫生的疲勞強度。

進一步的，手術過程中，醫務人員可能需要查看其它設備獲取的病理區域圖像，比如血管造影圖像、電腦斷層掃描圖像、核磁共振成像圖像或超聲波檢查圖像等。但在進行內窺鏡手術操作時，醫務人員的手腳都需要操作相應的設備，無法調取圖像進行觀看。此時，可以通過本發明的手術系統中的語音接收單元發出語音指令，從預先存入成像主機的存儲單元中的相關圖像中調取需要的圖像，并顯示到增強現實裝置的微顯示單元上進行觀察，從而大大提高了便捷度和手術效率，使該系統將微創手術精度和水平提高到新的高度。

附圖說明

圖1為本發明的增強現實無線電子內窺鏡手術系統的部件組成及連接關系示意圖。

圖2為內窺鏡、支架總成、光源主機和成像主機的安裝、連接示意圖。

圖3為本發明中增強現實裝置一種實施例的結構示意圖。

圖4為本發明中增強現實裝置另一種實施例的結構示意圖。

具體實施方式

為了進一步理解本發明，下面結合實施例對本發明優選實施方案進行描述，但是應當理解，這些描述只是為進一步說明本發明的特征和優點，而不是對本發明權利要求的限制。

如圖1和圖2所示，本發明的增強現實無線電子內窺鏡手術系統，其較佳實施例包括：

內窺鏡1，所述的內窺鏡可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的任意一個，其具有攝像、照明的光學系統，和將彎曲部設在前端部分的長條狀插入部11，用于插入人體腔道采集圖像或通過器械進行手術操作。

以及集成于支架總成2上的：

光源主機3，其具有光源及光源接口，通過光纖連接內窺鏡的光學系統，用于給內窺鏡的光學系統提供照明或手術光源。

成像主機4，其至少具有圖像處理單元、存儲單元和第一無線通信單元，其中存儲單元和第一無線通信單元連接圖像處理單元。其中，圖像處理單元用于接收及處理內窺鏡采集的圖像，之后發送到顯示裝置顯示或者儲存到存儲單元中。

具體的，上述的圖像處理單元由DSP+FPGA+ARM構成，以DSP為主CPU，FPGA作為主CPU的協處理器進行視頻預處理，ARM作為輔助處理控制單元。

其中，FPGA完成接口處理、視頻數據的接入與預處理；DSP完成視頻數據的輸入、視頻數據的壓縮、外存的控制、與FPGA的交互通信及壓縮數據的輸出。另外，圖像處理過程中，串行數字視頻信號（LVDS）通過專用串并轉換芯片實現串并轉換，然后通過隔離芯片將隔離后的信號送給FPGA。FPGA中的視頻數據格式解析模塊將CML接口輸入的視頻信號轉換成Y格式視頻數據；VPIF接口模塊將視頻數據格式解析模塊輸出的數據轉換成DSP的VPIF接口支持的格式，將視頻數據通過VPIF接口傳輸給DSP。DSP實現對視頻數據進行編解碼處理，最后將視頻數據流通過HDMI接口實現高清視頻顯示。同時，將視頻數據流通過無線WIFI傳輸至增強現實裝置實現增強現實顯示。

進一步的，上述的圖像處理單元，通過linux操作系統在ARM嵌入式系統上的移植，實現內窺鏡攝像系統的人機交互。ARM與DSP之間的通信具體為：直接將DSP連接到ARM的系統上實現兩者之間的通信。對于ARM設備，DSP可以看作是連接在其系統上的存儲器，ARM通過存儲器訪問指令訪問DSP。采用ARM與DSP結合的構架，使DSP豐富的資源用于實現圖像處理，充分發揮其圖像處理領域的優勢。比如，在圖像凍結后，系統需要存儲凍結圖像時，DSP將凍結的圖像數據發送到ARM系統，在ARM系統實現存儲。

顯示裝置，其具有顯示屏幕，用于顯示經圖像處理單元處理過的由內窺鏡采集的圖像。

優選的，顯示裝置包括第一顯示器和第二顯示器。其中，第一顯示器集成于成像主機上，該顯示器為觸摸式液晶顯示器，操作人員可以通過觸控的方式在該顯示器的屏幕上標記感興趣區域。其中，所述的感興趣區域為病人身體病變的關鍵部位或者手術的關鍵部位。選取的感興趣區域經過成像主機的進一步處理后，發送到所述增強現實裝置，由微顯示單元顯示出來，供醫生近距離觀看，從而提高手術的精準度。

具體的，本發明的優選實施例中，基于Embedded Visual C++對觸摸屏的軟件界面進行設計。整個視頻圖像的重建和處理軟件界面中，左邊較大窗口為視頻的實時全分辨率預覽，通過觸摸的觸控方式對觸摸屏上感興趣的圖像區域進行標記，通過右邊的觸摸圖標按鍵進行抓捕操作。同時，可以在設置按鍵中進行選擇以BMP或JPEG格式進行存儲，并將最近捕獲的八幅圖像在右邊小窗口中形成預覽，圖像抓捕過程不會對視頻的實時顯示產生任何干擾。

第二顯示器為內窺鏡系統專用顯示器5。該顯示器具有很高的分辨率，以及優異的亮度和對比度，自然的分級和精確的色彩還原，作為主顯示屏幕顯示內窺鏡采集的圖像，便于醫生觀看、識別。

為了將醫務人員的眼睛從顯示裝置上解放出來，并提高手術效率，本發明的手術系統還進一步設置了增強現實裝置。

如圖3所示為本發明中增強現實裝置的較佳實施例，其具有支架61，以及設于支架上的第二無線通信單元、微處理單元和微顯示單元62；其中，第二無線通信單元、微處理單元集成于支架上的原件盒63內。

或者，上述的增強現實裝置也可以做成如圖4所示的類型。其具有支架71和顯示部72，該顯示部可集成第二無線通信單元、微處理單元和微顯示單元。

具體的，上述實施例中，第二無線通信單元用于和成像主機上的第一無線通信單元進行通信，接受/發送數據信息或指令信息。優選的，所述的第一、第二無線通信單元可以是WiFi通信模塊，或者藍牙通信模塊；當然，也可以是其它無線通信模塊，在此不做具體限制。

微處理單元連接第二無線通信單元和微顯示單元，其用于接受圖像主機通過無線通信單元發送的圖像信號，進一步處理后驅動微顯示單元顯示接收的圖像信號。

具體的，微處理單元選用八核ARM處理器，其處理圖像時利用CUDA架構技術的KLT和SIFT混合特征點進行跟蹤算法，并合理利用圖像特征點快速跟蹤匹配技術，極大提升了圖像處理的可用性。考慮到特征點跟蹤匹配算法在像素和特征點兩個層次上的并行性，利用并行運算技術對算法進行加速，將提高了算法效率，并減小了算法時耗。利用混合特征點的跟蹤策略，通過與深度圖增強算法機制，在保證算法精度的同時維持了在魯棒性和實時性之間的有效平衡。同時，采用深度圖增強算法，利用原始深度圖的置信度估計結果及彩色圖像的顏色、邊緣和分割結果為線索對深度圖進行優化求解，有效地降低深度圖噪聲并對數據缺損區域進行修復。微顯示單元用于顯示圖像。特別的，本發明中，所述的增強現實裝置其微顯示單元為設于支架上的微顯示器，并且當支架戴在人的頭部時，該微顯示正好位于人眼前方。此時，醫務人員的眼睛可以靈活選擇，既可以聚焦到微顯示器的屏幕上，也可以忽略微顯示器，以正常方式觀察外部目標。

具體實施時，該微顯示單元采用1366x768分辨率的LCOS屏進行圖像顯示，通過可調支架安裝于增強現實裝置的支架上。當增強現實裝置佩戴于人體頭部時，人眼和該LCOS屏的距離通過調節可剛好滿足看清楚屏幕上的顯示圖像，并具有觀看外部大屏幕顯示設備的體驗。

為了進一步增強上述增強現實裝置的功能，提高手術效率，本發明的手術系統中，操作人員在第一顯示器的顯示屏幕上標記感興趣區域，經圖像處理單元獲取并處理該感興趣區域后，發送到增強現實裝置，并由增強現實裝置上的微顯示單元顯示所述的感興趣區域，以便于醫務人員觀看細節或關鍵區域的圖像，提高手術的準確度和效率。

另外一方面，作為進一步的優選實施方案，本發明的手術系統還于增強現實裝置上設置了語音接收單元，該語音接收單元連接微處理單元，用于接收語音指令。同時，成像主機的存儲單元中預存儲了外部設備采集的病理圖像，如血管造影圖像、電腦斷層掃描圖像、核磁共振成像圖像或超聲波檢查圖像等。當醫務人員在手術過程中需要查看上述圖像時，可發出語音指令，語音接收單元接受該語音指令后，通過微處理單元發送到圖像處理單元，由圖像處理單元對語音指令進行識別后，從存儲單元中調取相應的病理圖像發送到增強現實裝置，并由微顯示單元進行顯示，以便于醫務人員查看。此時，醫務人員可以在微顯示單元上查看外部設備采集的病理圖像，并通過顯示裝置觀看內窺鏡采集的圖像，進行對比，從而提高手術準確度和手術效率。

上述的語音接收單元可以為集成于支架上的微型麥克風，接收語音信號。成像主機的圖像處理單元進一步集成了語音處理模塊，以便進行語音指令識別。在實際使用時，可以通過幾個預先設置的語音指令發出指示，以提高語音指令的識別準確率。

作為進一步的優選實施方案，本發明的手術系統還包括骨傳導耳機，該骨傳導耳機通過第三通信單元和成像主機無線連接，用于接受成像主機的提醒指令并發出提示語音。采用骨傳導耳機，可以有效避免外部噪音的干擾，使接收者聽到的指示更清楚。

作為進一步的優選實施方案，本發明中，內窺鏡還具有位置傳感單元，該位置傳感單元為設于內窺鏡中的九軸陀螺儀，其連接成像主機的圖像處理單元。使用時，當位置傳感單元檢測到內窺鏡所攝的圖像發生歪斜或倒立時，圖像處理單元根據九軸陀螺儀采集的數據對內窺鏡采集的圖像進行相應的旋轉，使顯示裝置顯示的圖像始終保持正立，以便于醫務人員觀看圖像，進而提高操作的準確度。

進一步的，本發明的手術系統還包括外接電源，該外接電源包括可充電電池及掛置部，掛置部用于將電源掛置于人體上，可充電電池連接增強現實裝置的電源接口。采用外接電源，可以克服內置電池電量不足或連接電源線麻煩的不足，尤其適用于手術時間較長的場合。

以上實施例的說明只是用于幫助理解本發明的方法及其核心思想。應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護范圍內。