本公開的實施例涉及計算機，具體涉及多模態運動補償皮膚圖像顯示方法、裝置、設備和介質。

背景技術：

1、基于探頭的皮膚超聲圖像和皮膚光學相干斷層圖像的生成，由于人體的呼吸和細微抖動，造成生成的超聲圖像和光學圖像中存在偽影和模糊的問題，如何精準去除超聲圖像和光學圖像中的偽影和模糊問題成為人們越來越關注的問題。對于運動補償圖像的顯示，通常采用的方式為：通過單一的皮膚超聲圖像或者單一的皮膚光學相干斷層圖像進行運動補償，得到運動補償圖像，以及將運動補償圖像發送至目標終端進行圖像顯示。

2、然而，實踐中發現，當采用上述方式對運動補償圖像進行顯示時，經常會存在如下技術問題一：通過單一類型的圖像進行運動補償，由于單一類型的圖像本身包含的皮膚特征信息較少，導致運動補償后的圖像的質量更低，運動補償后的圖像可能還存在一些不能去掉的偽影和模糊問題，在保證皮膚特征質量的情況下需要更多的成像圖像，增加傳輸資源的浪費。

3、該背景技術部分中所公開的以上信息僅用于增強對本公開構思的背景的理解，并因此，其可包含并不形成本國的本領域普通技術人員已知的現有技術的信息。

技術實現思路

1、本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

2、本公開的一些實施例提出了多模態運動補償皮膚圖像顯示方法、裝置、設備和介質，來解決以上背景技術部分提到的技術問題中的一項或多項。

3、第一方面，本公開的一些實施例提供了一種多模態運動補償皮膚圖像顯示方法，包括：對皮膚彈性檢測系統中的超聲探頭和光學相干斷層探頭進行探頭空間標定處理，得到標定后超聲探頭和標定后光學相干斷層探頭；確定上述標定后超聲探頭和上述標定后光學相干斷層探頭在目標用戶的皮膚待檢測區域的皮膚掃描路徑信息；根據上述皮膚掃描路徑信息，控制上述標定后超聲探頭和上述標定后光學相干斷層探頭在上述皮膚待檢測區域進行探頭掃描成像處理，得到皮膚超聲圖像集和皮膚光學相干斷層圖像集；對上述皮膚超聲圖像集中的每個皮膚超聲圖像和上述皮膚光學相干斷層圖像集中的每個皮膚光學相干斷層圖像進行伽馬混合聚類處理，得到皮膚超聲聚類圖像集和皮膚光學相干斷層聚類圖像集；將上述皮膚超聲聚類圖像集和上述皮膚光學相干斷層聚類圖像集輸入至多模態圖像配準模型，得到多模態配準皮膚圖像集；對上述多模態配準皮膚圖像集中的每個多模態配準皮膚圖像進行圖像塊劃分處理，得到多模態配準皮膚圖像塊組集；根據上述多模態配準皮膚圖像塊組集，對上述多模態配準皮膚圖像集進行貝葉斯位移補償處理，得到多模態運動補償皮膚圖像集；對上述多模態運動補償皮膚圖像集進行終端圖像顯示。

4、第二方面，本公開的一些實施例提供了一種多模態運動補償皮膚圖像顯示裝置，包括：探頭空間標定單元，被配置成對皮膚彈性檢測系統中的超聲探頭和光學相干斷層探頭進行探頭空間標定處理，得到標定后超聲探頭和標定后光學相干斷層探頭；確定單元，被配置成確定上述標定后超聲探頭和上述標定后光學相干斷層探頭在目標用戶的皮膚待檢測區域的皮膚掃描路徑信息；控制單元，被配置成根據上述皮膚掃描路徑信息，控制上述標定后超聲探頭和上述標定后光學相干斷層探頭在上述皮膚待檢測區域進行探頭掃描成像處理，得到皮膚超聲圖像集和皮膚光學相干斷層圖像集；伽馬混合聚類單元，被配置成對上述皮膚超聲圖像集中的每個皮膚超聲圖像和上述皮膚光學相干斷層圖像集中的每個皮膚光學相干斷層圖像進行伽馬混合聚類處理，得到皮膚超聲聚類圖像集和皮膚光學相干斷層聚類圖像集；輸入單元，被配置成將上述皮膚超聲聚類圖像集和上述皮膚光學相干斷層聚類圖像集輸入至多模態圖像配準模型，得到多模態配準皮膚圖像集；圖像塊劃分單元，被配置成對上述多模態配準皮膚圖像集中的每個多模態配準皮膚圖像進行圖像塊劃分處理，得到多模態配準皮膚圖像塊組集；貝葉斯位移補償單元，被配置成根據上述多模態配準皮膚圖像塊組集，對上述多模態配準皮膚圖像集進行貝葉斯位移補償處理，得到多模態運動補償皮膚圖像集；圖像顯示單元，被配置成對上述多模態運動補償皮膚圖像集進行終端圖像顯示。

5、第三方面，本公開的一些實施例提供了一種電子設備，包括：一個或多個處理器；存儲裝置，其上存儲有一個或多個程序，當一個或多個程序被一個或多個處理器執行，使得一個或多個處理器實現如第一方面中任一實現方式描述的方法。

6、第四方面，本公開的一些實施例提供了一種計算機可讀介質，其上存儲有計算機程序，其中，計算機程序被處理器執行時實現如第一方面中任一實現方式描述的方法。

7、本公開的上述各個實施例中具有如下有益效果：本公開的一些實施例的多模態運動補償皮膚圖像顯示方法通過多模態圖像的配準和運動補償，可以提高皮膚圖像的質量，減少圖像中由于人體微小呼吸造成的偽影。具體來說，造成相關的運動補償后的圖像的質量更低，運動補償后的圖像可能還存在一些不能去掉的偽影和模糊問題，在保證皮膚特征質量的情況下需要更多的成像圖像，增加傳輸資源的浪費的原因在于：通過單一類型的圖像進行運動補償，由于單一類型的圖像本身包含的皮膚特征信息較少，導致運動補償后的圖像的質量更低，運動補償后的圖像可能還存在一些不能去掉的偽影和模糊問題，在保證皮膚特征質量的情況下需要更多的成像圖像，增加傳輸資源的浪費。基于此，本公開的一些實施例的多模態運動補償皮膚圖像顯示方法可以首先，對皮膚彈性檢測系統中的超聲探頭和光學相干斷層探頭進行探頭空間標定處理，得到標定后超聲探頭和標定后光學相干斷層探頭。在這里，將超聲探頭和光學相干斷層探頭對應的坐標系轉換至目標用戶所在坐標系，提高探頭的定位準確性，以及將探頭的位置信息和方向信息融入至成像圖像中，從而提高后續圖像成像定位掃描的準確率。其次，確定上述標定后超聲探頭和上述標定后光學相干斷層探頭在目標用戶的皮膚待檢測區域的皮膚掃描路徑信息。在這里，可以確定更加精準的探頭掃描路徑，便于后續控制光學相干斷層探頭和超聲探頭的掃描，減少生成的圖像之間的重合度。再次，根據上述皮膚掃描路徑信息，控制上述標定后超聲探頭和上述標定后光學相干斷層探頭在上述皮膚待檢測區域進行探頭掃描成像處理，得到皮膚超聲圖像集和皮膚光學相干斷層圖像集。在這里，可以減少生成的皮膚超聲圖像集中皮膚超聲圖像和皮膚光學相干斷層圖像集中皮膚光學相干斷層圖像之間的皮膚特征信息的重合度，減少冗余信息和數據量，以便提高后續配準和運動補償的效率。隨后，對上述皮膚超聲圖像集中的每個皮膚超聲圖像和上述皮膚光學相干斷層圖像集中的每個皮膚光學相干斷層圖像進行伽馬混合聚類處理，得到皮膚超聲聚類圖像集和皮膚光學相干斷層聚類圖像集。在這里，可以準確地識別出皮膚超聲圖像和皮膚光學相干斷層圖像中不同皮膚組織結構的細節信息，并通過考慮灰度值的概率分布便于提高后續圖像配準的位置對應關系的確定。接著，將上述皮膚超聲聚類圖像集和上述皮膚光學相干斷層聚類圖像集輸入至多模態圖像配準模型，得到多模態配準皮膚圖像集。在這里，通過多模態圖像配準模型可以自動學習皮膚超聲聚類圖像和皮膚光學相干斷層聚類圖像的特征信息，提高多模態圖像配準的準確性。之后，對上述多模態配準皮膚圖像集中的每個多模態配準皮膚圖像進行圖像塊劃分處理，得到多模態配準皮膚圖像塊組集。在這里，多模態配準皮膚圖像塊組集便于后續進行基于圖像塊的運動補償，以提高圖像的質量。然后，根據上述多模態配準皮膚圖像塊組集，對上述多模態配準皮膚圖像集進行貝葉斯位移補償處理，得到多模態運動補償皮膚圖像集。在這里，可以有效去除多模態配準圖像中的偽影問題，降低噪聲對圖像的影響，提高多模態運動補償皮膚圖像的質量。最后，對上述多模態運動補償皮膚圖像集進行終端圖像顯示。在這里，由于多模態運動補償皮膚圖像中包含更多的皮膚的細節信息和組織結構信息，可以在顯示同樣皮膚特征信息下減少皮膚圖像的圖像數量，進而減少傳輸資源的浪費。由此可得，該多模態運動補償皮膚圖像顯示方法通過多模態圖像的配準和運動補償，可以提高皮膚圖像的質量，減少圖像中由于人體微小呼吸造成的偽影。