本發明涉及機器學習，具體而言，涉及一種基于機器視覺的手術過程監控方法及系統。

背景技術：

1、在現代醫療領域，手術作為治療眾多疾病的重要手段，其安全性和準確性一直是備受關注的焦點。手術過程中，醫生需要時刻關注手術器械的操作情況以及生物組織的狀態，以確保手術的順利進行并減少并發癥的發生。

2、目前，手術過程的監控主要依賴于醫生的經驗和現場觀察。然而，這種傳統的監控方式存在諸多局限性。一方面，手術環境復雜，醫生在高度緊張和專注的操作過程中，難免會出現視覺疲勞或疏忽，導致無法及時察覺一些細微但可能影響手術結果的異常情況，例如手術器械的不當操作或者生物組織的意外形變。另一方面，不同醫生的經驗水平存在差異，對于某些復雜手術場景下的潛在風險判斷和識別能力也不盡相同，這可能會導致對手術過程中的異常事件處理不夠及時和準確，進而影響手術效果和患者的預后。

3、現有的一些手術監控技術主要集中在對手術設備運行狀態的監測，例如監測手術器械的電氣參數、設備的溫度等，而對于手術過程中器械與生物組織之間復雜的交互情況以及實際操作狀態的監控相對較少。即使存在部分針對手術場景的圖像監測技術，也大多停留在簡單的圖像記錄層面，未能深入分析圖像中的關鍵信息，無法實現對手術器械類型、空間姿態以及生物組織類型和區域邊界等關鍵要素的準確提取，更難以對手術器械操作軌跡和生物組織形變參數進行有效監測。

4、此外，現有的方法多數僅針對單一類型的異常情況設定固定閾值進行檢測，無法適應手術過程中不同階段、不同操作所面臨的多樣化風險，難以準確判斷異常事件的類型和風險等級。而且，在出現異常情況后，現有技術也無法提供一種直觀且具有針對性的可視化報告，幫助醫生快速了解異常情況并獲取有效的修正建議。

技術實現思路

1、鑒于上述提及的問題，結合本發明的第一方面，本發明實施例提供一種基于機器視覺的手術過程監控方法，所述方法包括：

2、獲取手術場景的實時圖像序列，所述實時圖像序列包含手術器械操作區域和生物組織區域的動態影像；

3、從所述實時圖像序列中提取手術器械識別結果和生物組織分割結果，所述手術器械識別結果包括器械類型與空間姿態，所述生物組織分割結果包括組織類型與區域邊界；

4、基于所述手術器械識別結果與所述生物組織分割結果，監測所述手術器械的操作軌跡與所述生物組織區域的形變參數，生成動態操作狀態參數；

5、根據預定義的手術階段安全閾值，對所述動態操作狀態參數進行多模態異常檢測，確定異常事件類型與風險等級；

6、基于所述異常事件類型與風險等級，生成可視化手術監控報告，所述可視化手術監控報告包含異常區域標記、風險提示信息及修正建議。

7、再一方面，本發明實施例還提供一種基于機器視覺的手術過程監控系統，包括處理器、機器可讀存儲介質，所述機器可讀存儲介質和所述處理器連接，所述機器可讀存儲介質用于存儲程序、指令或代碼，所述處理器用于執行所述機器可讀存儲介質中的程序、指令或代碼，以實現上述的方法。

8、基于以上方面，本申請實施例通過獲取包含手術器械操作區域和生物組織區域動態影像的實時圖像序列，并從中提取手術器械識別結果和生物組織分割結果，由此監測手術器械操作軌跡與生物組織區域形變參數并生成動態操作狀態參數，從而將手術過程中的動態信息進行量化和整合。接著，采用預定義的手術階段安全閾值對動態操作狀態參數進行多模態異常檢測，能夠基于不同手術階段的特點，全面且靈活地判斷手術過程中的異常情況，準確確定異常事件類型與風險等級，不僅考慮了手術操作的多樣性和復雜性，還結合了不同階段的安全標準，大大提高了異常檢測的準確性和可靠性，避免了單一檢測方式的局限性。最后，基于異常事件類型與風險等級生成可視化手術監控報告，將復雜的異常信息以直觀、易懂的方式呈現給醫護人員，包含異常區域標記、風險提示信息及修正建議，不僅幫助醫護人員快速定位和理解手術中的問題，還為他們提供了針對性的解決思路，有助于及時采取措施糾正手術操作，降低手術風險，提高手術成功率和患者的安全性。

技術特征：

1.一種基于機器視覺的手術過程監控方法，其特征在于，所述方法包括：

2.根據權利要求1所述的基于機器視覺的手術過程監控方法，其特征在于，所述從所述實時圖像序列中提取手術器械識別結果和生物組織分割結果，包括：

3.根據權利要求2所述的基于機器視覺的手術過程監控方法，其特征在于，所述對每組所述手術場景靜態圖像進行特征區域提取，得到器械操作區域候選框與組織區域候選框，包括：

4.根據權利要求1所述的基于機器視覺的手術過程監控方法，其特征在于，所述基于所述手術器械識別結果與所述生物組織分割結果，監測所述手術器械的操作軌跡與所述生物組織區域的形變參數，生成動態操作狀態參數，包括：

5.根據權利要求4所述的基于機器視覺的手術過程監控方法，其特征在于，所述基于所述生物組織分割結果中的區域邊界，分析相鄰時間戳間的組織形變幅度與形變速率，生成所述形變參數，包括：

6.根據權利要求4所述的基于機器視覺的手術過程監控方法，其特征在于，所述融合所述操作軌跡與所述形變參數，計算手術器械與組織接觸區域的應力分布圖譜，包括：

7.根據權利要求4所述的基于機器視覺的手術過程監控方法，其特征在于，所述根據所述應力分布圖譜，生成器械操作力度、組織響應彈性模量及接觸時間占比的量化指標，包括：

8.根據權利要求1所述的基于機器視覺的手術過程監控方法，其特征在于，所述根據預定義的手術階段安全閾值，對所述動態操作狀態參數進行多模態異常檢測，確定異常事件類型與風險等級，包括：

9.根據權利要求1所述的基于機器視覺的手術過程監控方法，其特征在于，所述基于所述異常事件類型與風險等級，生成可視化手術監控報告，包括：

10.一種基于機器視覺的手術過程監控系統，其特征在于，所述基于機器視覺的手術過程監控系統包括處理器和存儲器，所述存儲器和所述處理器連接，所述存儲器用于存儲程序、指令或代碼，所述處理器用于執行所述存儲器中的程序、指令或代碼，以實現上述權利要求1-9任意一項所述的基于機器視覺的手術過程監控方法。

技術總結
本發明提供一種基于機器視覺的手術過程監控方法及系統，首先獲取含手術器械操作區域和生物組織區域動態影像的手術場景實時圖像序列，接著從中提取手術器械識別結果（含器械類型與空間姿態）和生物組織分割結果（含組織類型與區域邊界），然后基于上述結果監測器械操作軌跡與生物組織區域形變參數，生成動態操作狀態參數，再依據預定義的手術階段安全閾值，對動態操作狀態參數進行多模態異常檢測，確定異常事件類型與風險等級，最后據此生成可視化手術監控報告，報告涵蓋異常區域標記、風險提示信息及修正建議，實現對手術過程全面智能監控，輔助提升手術安全性與成功率。

技術研發人員：謝利萍,盧玉琴,張磊,李俊,古清鷺,莫婷婷,王玲,李玉梅,羅麗娜,劉霞英,羅莉
受保護的技術使用者：自貢市第一人民醫院
技術研發日：
技術公布日：2025/4/24