【
技術領域：
：】本發明涉及醫療
技術領域：
：，尤其涉及一種手術室監控方法和一種手術室監控裝置。
背景技術：
：：目前，傳統的手術室監控系統可以獲取手術室中的實時圖像，以便遠程學習或監控醫生的手術過程。然而，這種監控方式僅僅是簡單拍攝了手術過程的視頻，該視頻所能夠提供的信息量十分有限，不便于對手術過程的全面掌控。因此，如何提供一種更為全面有效的手術室監控方式，成為目前亟待解決的技術問題。技術實現要素：本發明實施例提供了一種手術室監控方法和一種手術室監控裝置，旨在解決相關技術中的手術室監控系統提供的信息量十分有限的技術問題，能夠提供一種新的手術室監控方式，能夠遠程輸出手術室的實時虛擬與現實的混合圖像，便于對手術過程進行全方位的學習和監控。第一方面，本發明實施例提供了一種手術室監控方法，包括：獲取手術室的實時虛擬與現實的混合圖像；將所述實時虛擬與現實的混合圖像傳輸至輸出設備；在所述輸出設備上輸出所述實時虛擬與現實的混合圖像，以供通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理。在本發明上述實施例中，可選地，所述在所述輸出設備上輸出所述實時虛擬與現實的混合圖像的步驟，包括：通過普通顯示器、虛擬現實顯示器、增強現實顯示器或混合現實顯示器中的一種或多種顯示器輸出所述實時虛擬與現實的混合圖像；所述通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理的方式包括添加虛擬物體、改變虛擬物體的位置、刪除虛擬物體和改變虛擬物體的顯示效果中的一項或多項。在本發明上述實施例中，可選地，所述獲取手術室的實時虛擬與現實的混合圖像的步驟，具體包括：通過拍攝裝置獲取手術室的全景實物圖像；根據即時定位系統，確定所述攝像機的位置信息；確定虛擬物體的位置信息；根據已確定的所述虛擬物體的位置信息和所述攝像機的位置信息，生成所述手術室的虛擬物體圖像；通過預定設備將所述虛擬物體圖像與所述全景實物圖像融合，得到所述實時虛擬與現實的混合圖像。在本發明上述實施例中，可選地，所述確定虛擬物體的位置信息包括：根據幾何信息、生物信息、物理信息中的一種或多種信息，通過自動算法或手動設置確定虛擬物體的位置和形態，所述自動算法包括目標對象識別、3d姿態估計、圖像配準、點云匹配、動作捕捉等中的一種或多種算法。在本發明上述實施例中，可選地，所述通過預定設備將所述虛擬物體圖像與所述全景實物圖像融合的步驟，具體包括：將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上；或者根據所述全景實物圖像的屬性，對所述虛擬物體圖像的屬性進行調整，并在調整后將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，其中，所述屬性包括圖像尺寸、圖像亮度、圖像對比度和圖像顏色比例中的一項或多項。在本發明上述實施例中，可選地，所述即時定位系統包括：即時定位與地圖構建系統或lighthouse系統，以及所述預定設備包括：虛擬現實設備、增強現實設備或混合現實設備，所述輸出設備包括：遠程設備或本地設備。第二方面，本發明實施例提供了一種手術室監控裝置，包括：混合圖像獲取單元，獲取手術室的實時虛擬與現實的混合圖像；遠程傳輸單元，將所述實時虛擬與現實的混合圖像傳輸至輸出設備；遠程輸出單元，在所述輸出設備上輸出所述實時虛擬與現實的混合圖像，以供通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理。在本發明上述實施例中，可選地，所述遠程輸出單元具體用于：通過普通顯示器、虛擬現實顯示器、增強現實顯示器或混合現實顯示器中的一種或多種顯示器輸出所述實時虛擬與現實的混合圖像，以及添加虛擬物體、改變虛擬物體的位置、刪除虛擬物體和改變虛擬物體的顯示效果中的一項或多項。在本發明上述實施例中，可選地，所述混合圖像獲取單元包括：實物圖像獲取單元，通過拍攝裝置獲取手術室的全景實物圖像；即時定位單元，根據即時定位系統，確定所述攝像機的位置信息；位置確定單元，確定虛擬物體的位置信息；虛擬圖像獲取單元，根據已確定的所述虛擬物體的位置信息和所述攝像機的位置信息，生成所述手術室的虛擬物體圖像；圖像融合單元，通過預定設備將所述虛擬物體圖像與所述全景實物圖像融合，得到所述實時虛擬與現實的混合圖像。在本發明上述實施例中，可選地，所述位置確定單元具體用于：根據幾何信息、生物信息、物理信息中的一種或多種信息，通過自動算法或手動設置確定虛擬物體的位置和形態，其中，所述自動算法包括目標對象識別、3d姿態估計、圖像配準、點云匹配、動作捕捉等中的一種或多種算法。在本發明上述實施例中，可選地，所述圖像融合單元具體用于：將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，或者根據所述全景實物圖像的屬性，對所述虛擬物體圖像的屬性進行調整，并在調整后將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，其中，所述屬性包括圖像尺寸、圖像亮度、圖像對比度和圖像顏色比例中的一項或多項。在本發明上述實施例中，可選地，所述即時定位系統包括：即時定位與地圖構建系統或lighthouse系統，以及所述預定設備包括：虛擬現實設備、增強現實設備或混合現實設備，所述輸出設備包括：遠程設備或本地設備。以上技術方案，針對相關技術中的手術室監控系統提供的信息量十分有限的技術問題，能夠提供一種新的手術室監控方式，具體來說，在將增強現實技術引入手術室之后，可以通過虛擬現實技術、增強現實技術或混合現實技術獲取手術室的實時虛擬與現實的混合圖像，并將該混合圖像傳輸給輸出設備進行顯示，從而可以將混合現實手術中的場景通過網絡的方式實時傳輸出來，用于直播教學或遠程指導等方面，便于對手術過程進行全方位的學習和監控，提升了用戶體驗。【附圖說明】為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其它的附圖。圖1示出了本發明的一個實施例的手術室監控方法的流程圖；圖2示出了本發明的一個實施例的獲取混合圖像的流程圖；圖3示出了本發明的一個實施例的手術室監控裝置的框圖；圖4示出了本發明的一個實施例的監控設備的框圖。【具體實施方式】為了更好的理解本發明的技術方案，下面結合附圖對本發明實施例進行詳細描述。應當明確，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。在本發明實施例中使用的術語是僅僅出于描述特定實施例的目的，而非旨在限制本發明。在本發明實施例和所附權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。圖1示出了本發明的一個實施例的手術室監控方法的流程圖。如圖1所示，本發明的一個實施例的手術室監控方法，包括：步驟102，獲取手術室的實時虛擬與現實的混合圖像。其中，實時虛擬與現實的混合圖像指的是在手術室的實物圖像中融合了虛擬圖像后得到的圖像，獲取該混合圖像可使用虛擬現實技術、增強現實技術或混合現實技術。比如，在直播手術時，顯示界面可在顯示實時手術過程的同時，顯示為每個手術步驟實時標注顯示對應的名稱和所需器械。步驟104，將所述實時虛擬與現實的混合圖像傳輸至輸出設備。步驟106，在所述輸出設備上輸出所述實時虛擬與現實的混合圖像，以供通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理。在將增強現實技術引入手術室之后，可以獲取手術室的實時虛擬與現實的混合圖像，并將該混合圖像傳輸給輸出設備進行顯示，從而可以將混合現實手術中的場景通過網絡的方式實時傳輸出來，用于直播教學或遠程指導等方面，便于對手術過程進行全方位的學習和監控，提升了用戶體驗。圖2示出了本發明的一個實施例的獲取混合圖像的流程圖。如圖2所示，獲取手術室的實時虛擬與現實的混合圖像的過程具體包括：步驟202，通過拍攝裝置獲取手術室的全景實物圖像。其中，拍攝裝置可以為具有全景功能的攝像機，當然，也可以為具有景拍攝功能的任何其他設備，將拍攝裝置連接至服務器，即可將拍攝到的手術室的全景實物圖像上傳至服務器，以便服務器進行進一步處理。步驟204，根據即時定位系統，確定所述攝像機的位置信息。即時定位系統包括：slam(simultaneouslocalizationandmapping，即時定位與地圖構建)系統或lighthouse系統，其中，slam系統的原理為：目標對象在應用環境中從一個位置開始移動,在移動過程中slam系統根據位置估計和地圖進行目標對象的定位，同時在對目標對象定位的基礎上建造增量式地圖，實現目標對象的自主定位和導航。而lighthouse系統的核心原理為：利用房間中密度極大的非可見光，來探測室內佩戴vr(virtualreality，虛擬現實)設備的玩家的位置和動作變化，并將其模擬在虛擬現實3d空間中。當然，所使用的即時定位系統不限于上述兩種，還可以是根據需要除此之外的任何其他即時定位系統。由此可知，通過即時定位系統，能夠確定攝像機的位置信息，從而便于結合攝像機的位置信息，進一步確定虛擬物體的相對位置信息，為形成虛擬物體圖像提供基礎。步驟206，根據已確定的所述虛擬物體的位置信息和所述攝像機的位置信息，生成所述手術室的虛擬物體圖像。當然，在此之前，還包括確定虛擬物體的位置信息，以供在步驟206中將虛擬物體的位置信息作為生成所述手術室的虛擬物體圖像的依據之一。具體來說，確定虛擬物體的位置信息的步驟，具體包括：根據幾何信息、生物信息、物理信息中的一種或多種信息，通過自動算法或手動設置確定虛擬物體的位置和形態，其中，所述自動算法包括目標對象識別、3d姿態估計、圖像配準、點云匹配、動作捕捉等中的一種或多種算法。由此，多樣化的虛擬物體位置確定方式帶來了更加多樣化的選擇，以適配具有不同自動算法的系統。當然，確定虛擬物體的位置的方式不限于上述內容，還可以通過任何其他算法來確定虛擬物體的位置，當然，用戶也可以在輸出設備端進行操作以手動設置虛擬物體的位置。虛擬物體可以由系統預先進行配置或實時進行配置，也可以由遠程設備輸出設備側進行配置。比如，在兩個醫生進行手術的過程中，需要對兩個醫生進行區分，以便遠程專家進行指導時，醫生可以準確地接收命令，因此，系統可以自動確定兩個字符“a”和“b”作為虛擬物體，預計分別標注在兩個醫生的頭頂，或者，遠程設備輸出設備側也可以直接設置兩個醫生的標注為“a”和“b”，作為虛擬物體分別標注在兩個醫生的頭頂，以便遠程專家可以方便地區分這兩個醫生。此時，可以根據攝像機的位置信息，通過相對位置計算公式等方式，計算兩個字符“a”和“b”所應該在的相對位置，并在該相對位置生成兩個字符“a”和“b”，也就是虛擬物體圖像。綜上，虛擬物體圖像的存在可以便于輸出設備端的用戶更加方便地獲知手術室的實時信息。步驟208，通過預定設備將所述虛擬物體圖像與所述全景實物圖像融合，得到所述實時虛擬與現實的混合圖像。將虛擬物體圖像與全景實物圖像融合顯示，可供輸出設備端的用戶更加方便地獲知更加生動的手術室的實時信息，增加了輸出設備端所能夠得到的信息量，對手術效率或輸出設備端的學習效率都產生了很大的提升。其中，預定設備包括：虛擬現實設備、增強現實設備或混合現實設備，虛擬現實設備即vr設備，可生成多源信息融合的、交互式的三維動態視景和實體行為的仿真環境；增強現實設備即ar設備(augmentedreality)可生成虛擬數字畫面加上裸眼現實；混合現實設備即mr(mediatedreality)設備，mr也可以稱為介導現實，結合了vr與ar的優勢，能夠更好地將ar技術體現出來，并利用vr視角大的優勢彌補ar的視角不足的情況。當然，預定設備還可以是其他任何能夠融合得到實時虛擬與現實的混合圖像的設備，不限于上述三種。另外，所述輸出設備包括：遠程設備或本地設備，即既可以實現本地傳輸，也可以實現遠程傳輸，為遠程會診等醫療方式提供了便利。在本發明的一種實現方式中，步驟208中，可以將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，以實現融合的目的，這種方式的后臺操作簡單，能夠提升系統運行的效率。在本發明的另一種實現方式中，步驟208中，還可以根據所述全景實物圖像的屬性，對所述虛擬物體圖像的屬性進行調整，并在調整后將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上。這樣一來，可避免因全景實物圖像與虛擬物體圖像的屬性不相符而造成的融合效果差的問題，能夠得到更加優質的混合圖像，增加了對手術室的實時情況掌握的有效性，提升了用戶體驗。另外，所述屬性包括但不限于圖像尺寸、圖像亮度、圖像對比度和圖像顏色比例中的一項或多項。比如，當虛擬物體圖像的尺寸遠小于全景實物圖像時，將虛擬物體圖像融合放置在全景實物圖像上，很難看清虛擬物體圖像具體是什么內容，影響對混合圖像發觀察和分析，不便于對手術的學習或指導。因此，可以按照系統中的預定尺寸比例調整虛擬物體圖像的尺寸。在本發明的另一種實現方式中，根據實際需要，也可以根據所述虛擬物體圖像的屬性，對所述全景實物圖像的屬性進行調整。在上述任一實施例的基礎上，可通過普通顯示器、虛擬現實顯示器、增強現實顯示器或混合現實顯示器中的一種或多種顯示器輸出所述實時虛擬與現實的混合圖像。這樣，增加了實時虛擬與現實的混合圖像的顯示方式，取代了相關技術中只能佩戴眼鏡設備才能使用戶個人看到眼鏡中顯示的混合圖像的方案，能夠將混合圖像以普通顯示器或其他類型的顯示器直接顯示，降低了顯示成本，提升了用戶獲取混合圖像的便利性。需要補充的是，所述通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理的方式包括添加虛擬物體、改變虛擬物體的位置、刪除虛擬物體和改變虛擬物體的顯示效果中的一項或多項。例如：遠程手術指導時，當輸出設備端的用戶口頭表達不夠明確，可以通過操作輸出設備顯示的虛擬物體來進行標注說明，如高亮手術位置、高亮手術路徑、標注手術方式信息等。圖3示出了本發明的一個實施例的手術室監控裝置的框圖。如圖3所示，本發明的一個實施例的手術室監控裝置300，包括：混合圖像獲取單元302、遠程傳輸單元304和遠程輸出單元306。其中，混合圖像獲取單元302用于獲取手術室的實時虛擬與現實的混合圖像；遠程傳輸單元304用于將所述實時虛擬與現實的混合圖像傳輸至輸出設備；遠程輸出單元306用于在所述輸出設備上輸出所述實時虛擬與現實的混合圖像，以供通過所述輸出設備對所述實時虛擬與現實的混合圖像中的實時虛擬進行處理。由于手術室監控裝置300使用圖1和圖2示出的任一實施例所述的方法，因此，手術室監控裝置300具有與圖1和圖2示出的任一實施例相同的技術效果在此不再贅述。在本發明的一種實現方式中，所述遠程輸出單元具體用于：通過普通顯示器、虛擬現實顯示器、增強現實顯示器或混合現實顯示器中的一種或多種顯示器輸出所述實時虛擬與現實的混合圖像，以及添加虛擬物體、改變虛擬物體的位置、刪除虛擬物體和改變虛擬物體的顯示效果中的一項或多項。在本發明的一種實現方式中，所述混合圖像獲取單元包括：實物圖像獲取單元，通過拍攝裝置獲取手術室的全景實物圖像；即時定位單元，根據即時定位系統，確定所述攝像機的位置信息；位置確定單元，確定虛擬物體的位置信息；虛擬圖像獲取單元，根據已確定的所述虛擬物體的位置信息和所述攝像機的位置信息，生成所述手術室的虛擬物體圖像；圖像融合單元，通過預定設備將所述虛擬物體圖像與所述全景實物圖像融合，得到所述實時虛擬與現實的混合圖像。在本發明的一種實現方式中，所述位置確定單元具體用于：根據幾何信息、生物信息、物理信息中的一種或多種信息，通過自動算法或手動設置確定虛擬物體的位置和形態，其中，所述自動算法包括目標對象識別、3d姿態估計、圖像配準、點云匹配、動作捕捉中的一種或多種算法。在本發明的一種實現方式中，所述圖像融合單元具體用于：將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，或者根據所述全景實物圖像的屬性，對所述虛擬物體圖像的屬性進行調整，并在調整后將所述虛擬物體圖像通過直接覆蓋、或不透明度混合、或融合算法融合至所述全景實物圖像上，其中，所述屬性包括圖像尺寸、圖像亮度、圖像對比度和圖像顏色比例中的一項或多項。在本發明的一種實現方式中，所述即時定位系統包括：即時定位與地圖構建系統或lighthouse系統，以及所述預定設備包括：虛擬現實設備、增強現實設備或混合現實設備，所述輸出設備包括：遠程設備或本地設備。圖4示出了本發明的一個實施例的監控設備的框圖。如圖4所示，根據本發明的一個實施例的監控設備400，包括圖3示出的手術室監控裝置300，因此，該終端400具有和圖3示出的手術室監控裝置300相同的技術效果，在此不再贅述。其中，監控設備400包括但不限于終端、服務器以及其他任何具有顯示功能的設備。以上結合附圖詳細說明了本發明的技術方案，通過本發明的技術方案，能夠提供一種新的手術室監控方式，在將增強現實技術引入手術室之后，可以獲取手術室的實時虛擬與現實的混合圖像，并將該混合圖像傳輸給輸出設備進行顯示，便于對手術過程進行全方位的學習和監控，提升了用戶體驗。取決于語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應于確定”或“響應于檢測”。類似地，取決于語境，短語“如果確定”或“如果檢測(陳述的條件或事件)”可以被解釋成為“當確定時”或“響應于確定”或“當檢測(陳述的條件或事件)時”或“響應于檢測(陳述的條件或事件)”。需要說明的是，本發明實施例中所涉及的終端可以包括但不限于個人計算機(personalcomputer，pc)、個人數字助理(personaldigitalassistant，pda)、無線手持設備、平板電腦(tabletcomputer)、手機、mp3輸出器、mp4輸出器等。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如，多個單元或組件可以結合或者可以集成到另一個系統，或一些特征可以忽略，或不執行。另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現，也可以采用硬件加軟件功能單元的形式實現。上述以軟件功能單元的形式實現的集成的單元，可以存儲在一個計算機可讀取存儲介質中。上述軟件功能單元存儲在一個存儲介質中，包括若干指令用以使得一臺計算機裝置(可以是個人計算機，服務器，或者網絡裝置等)或處理器(processor)執行本發明各個實施例所述方法的部分步驟。而前述的存儲介質包括：u盤、移動硬盤、只讀存儲器(read-onlymemory，rom)、隨機存取存儲器(randomaccessmemory，ram)、磁碟或者光盤等各種可以存儲程序代碼的介質。以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的范圍之內。當前第1頁12當前第1頁12