本發(fā)明涉及超聲臨床診斷和超聲圖像體表標(biāo)記，具體涉及一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法。

背景技術(shù)：

1、為了便于后期的分析與研究，在超聲掃描過(guò)程中，操作者通常會(huì)記錄超聲圖像相對(duì)被掃描物體的方位，以便于未來(lái)根據(jù)圖像方位快速定位目標(biāo)區(qū)域并進(jìn)行后續(xù)操作(例如，重復(fù)掃描檢查、輔助采樣定位等)。同時(shí)，超聲圖像的方位信息能夠?qū)Ρ粧呙栉矬w的特定部位進(jìn)行直觀清楚的描述，為后期的交流提供便利。

2、目前，在超聲檢查中，醫(yī)生在保存超聲圖像時(shí)會(huì)手動(dòng)記錄體表標(biāo)記，此操作需要手動(dòng)調(diào)出超聲機(jī)中的體標(biāo)圖庫(kù)，該體標(biāo)圖庫(kù)中具有各個(gè)檢查部位的標(biāo)記圖，選擇對(duì)應(yīng)檢查部位的標(biāo)記圖，然后手動(dòng)設(shè)置并調(diào)整此次掃描超聲傳感器的位置及方向。在臨床檢查中，當(dāng)面對(duì)多個(gè)病人的眾多超聲圖像時(shí)，反復(fù)手動(dòng)記錄調(diào)整體表標(biāo)記的方式會(huì)給醫(yī)生增加大量負(fù)擔(dān)，降低臨床檢查的效率。同時(shí)，不同的操作者在標(biāo)注體表標(biāo)記時(shí)會(huì)存在人為的差異，會(huì)影響超聲體表標(biāo)記的準(zhǔn)確性。

3、基于此，本發(fā)明提出一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的技術(shù)，以期減輕醫(yī)生臨床檢查時(shí)的工作量，同時(shí)提高超聲體表標(biāo)記的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、(一)解決的技術(shù)問(wèn)題

2、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，至少解決了現(xiàn)有技術(shù)中在保存超聲圖像時(shí)僅能通過(guò)手動(dòng)記錄體表標(biāo)記而導(dǎo)致工作量大的問(wèn)題。

3、(二)技術(shù)方案

4、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：

5、第一方面，本申請(qǐng)首先提出一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，所述方法包括：

6、s1、基于預(yù)先搭建的光學(xué)定位系統(tǒng)，建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系，以及獲取目標(biāo)對(duì)象的光學(xué)圖像；

7、s2、基于所述光學(xué)圖像獲取目標(biāo)對(duì)象中關(guān)鍵點(diǎn)的位置特征圖；

8、s3、基于所述光學(xué)圖像和所述位置特征圖獲取目標(biāo)對(duì)象的標(biāo)記圖。

9、在一個(gè)實(shí)施例中，所述s1包括：

10、s11、搭建光學(xué)定位系統(tǒng)；所述光學(xué)定位系統(tǒng)包括光學(xué)跟蹤器、相機(jī)和光學(xué)標(biāo)志物；

11、s12、基于所述光學(xué)定位系統(tǒng)標(biāo)定光學(xué)標(biāo)志物坐標(biāo)系與超聲圖像坐標(biāo)系之間的相對(duì)位置關(guān)系；

12、s13、基于所述光學(xué)標(biāo)志物坐標(biāo)系與超聲圖像坐標(biāo)系之間的相對(duì)位置關(guān)系建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系；同時(shí)，利用光學(xué)相機(jī)拍攝目標(biāo)對(duì)象的光學(xué)圖像。

13、優(yōu)選的，光學(xué)跟蹤器包括但不限于多目相機(jī)、光學(xué)相機(jī)等。

14、優(yōu)選的，光學(xué)標(biāo)志物包括但不限于具有漫反射表面的金屬小球、帶有棋盤或點(diǎn)陣的標(biāo)定板等。

15、更為優(yōu)選的，光學(xué)跟蹤器、相機(jī)和光學(xué)標(biāo)志物的組合包括但不限于多目相機(jī)和具有漫反射表面的金屬小球、光學(xué)相機(jī)和帶有棋盤或點(diǎn)陣的標(biāo)定板等組合形式。

16、在一個(gè)實(shí)施例中，所述s13包括按照如下公式計(jì)算以建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系：

17、rti2c＝rtm2c·rti2m

18、其中，rti2c表示超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系轉(zhuǎn)換矩陣；rtm2c表示光學(xué)標(biāo)志物坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系轉(zhuǎn)換矩陣；rti2m表示超聲圖像坐標(biāo)系與光學(xué)標(biāo)志物坐標(biāo)系之間的相對(duì)位置關(guān)系轉(zhuǎn)換矩陣。

19、優(yōu)選的，使用張正友標(biāo)定法或小球標(biāo)定法等方法標(biāo)定多目相機(jī)的內(nèi)參，再使用雙目定位等方法定位光學(xué)標(biāo)志物；通過(guò)n線標(biāo)定、多平面標(biāo)定等方法，計(jì)算得到超聲圖像坐標(biāo)系與光學(xué)標(biāo)志物坐標(biāo)系之間的相對(duì)位置關(guān)系，即轉(zhuǎn)換矩陣rti2m。

20、在一個(gè)實(shí)施例中，所述s2包括：

21、將所述光學(xué)圖像輸入預(yù)訓(xùn)練的第一深度學(xué)習(xí)網(wǎng)絡(luò)中以獲取目標(biāo)對(duì)象中關(guān)鍵點(diǎn)的位置特征圖。

22、優(yōu)選的，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)包括hr-net主干網(wǎng)絡(luò)和分類模塊。

23、在一個(gè)實(shí)施例中，所述s3包括：

24、將所述光學(xué)圖像和所述位置特征圖輸入預(yù)訓(xùn)練的第二深度學(xué)習(xí)網(wǎng)絡(luò)中以獲取目標(biāo)對(duì)象的標(biāo)記圖。

25、優(yōu)選的，所述第二深度學(xué)習(xí)網(wǎng)絡(luò)基于u-net網(wǎng)絡(luò)結(jié)構(gòu)，包括特征編碼器和解碼器。

26、更為優(yōu)選的，所述第二深度學(xué)習(xí)網(wǎng)絡(luò)還包括：

27、在u-net網(wǎng)絡(luò)中編碼器前增加一個(gè)注意力模塊，所述注意力模塊包括多尺度卷積；

28、所述編碼器部分的卷積使用空洞卷積，且在特定編碼器層設(shè)置dropout層。

29、再進(jìn)一步的一個(gè)實(shí)施例中，所述方法還包括：

30、s4、在所述標(biāo)記圖上生成指示標(biāo)志；所述指示標(biāo)志包括超聲傳感器位置指示標(biāo)志和掃描方向指示標(biāo)志。

31、優(yōu)選的，所述指示標(biāo)志為“t”形圖標(biāo)，“t”形的橫線部分表示超聲傳感器帶標(biāo)記側(cè)。

32、第二方面，本申請(qǐng)還提出了一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的系統(tǒng)，所述系統(tǒng)包括：

33、位置關(guān)系獲取模塊，用于基于預(yù)先搭建的光學(xué)定位系統(tǒng)，獲取超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系，

34、光學(xué)圖像獲取模塊，用于基于預(yù)先搭建的光學(xué)定位系統(tǒng)獲取目標(biāo)對(duì)象的光學(xué)圖像；

35、位置特征圖獲取模塊，用于基于所述光學(xué)圖像獲取目標(biāo)對(duì)象中關(guān)鍵點(diǎn)的位置特征圖；

36、標(biāo)記圖獲取模塊，用于基于所述光學(xué)圖像和所述位置特征圖獲取目標(biāo)對(duì)象的標(biāo)記圖。

37、第三方面，本申請(qǐng)進(jìn)一步提出了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任意一項(xiàng)所述的實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法的步驟。

38、第四方面，本申請(qǐng)最后提出了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任意一項(xiàng)所述的實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法的步驟。

39、(三)有益效果

40、本發(fā)明提供了一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法。與現(xiàn)有技術(shù)相比，具備以下有益效果：

41、本發(fā)明提出一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，首先基于預(yù)先搭建的光學(xué)定位系統(tǒng)，建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系，同時(shí)獲取目標(biāo)對(duì)象的光學(xué)圖像；然后基于光學(xué)圖像獲取目標(biāo)對(duì)象中關(guān)鍵點(diǎn)的位置特征圖；最后基于上述光學(xué)圖像和位置特征圖獲取目標(biāo)對(duì)象的標(biāo)記圖。本申請(qǐng)?zhí)岢龅膶?shí)時(shí)標(biāo)記超聲傳感器空間位姿的技術(shù)，解決現(xiàn)有技術(shù)在保存超聲圖像時(shí)僅能通過(guò)手動(dòng)記錄體表標(biāo)記而導(dǎo)致操作者工作量大、繁瑣的問(wèn)題，相比于現(xiàn)有技術(shù)，可以更加高效、準(zhǔn)確標(biāo)記超聲圖像，方便了后期的分析與研究。

技術(shù)特征：

1.一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述s1包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述s13包括按照如下公式計(jì)算以建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系：

4.如權(quán)利要求1所述的方法，其特征在于，所述s2包括：

5.如權(quán)利要求1所述的方法，其特征在于，所述s3包括：

6.如權(quán)利要求5所述的方法，其特征在于，所述第二深度學(xué)習(xí)網(wǎng)絡(luò)還包括：

7.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

8.一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)所述的實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供一種實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，涉及超聲臨床診斷和超聲圖像體表標(biāo)記技術(shù)領(lǐng)域。本發(fā)明提出實(shí)時(shí)標(biāo)記超聲傳感器空間位姿的方法，首先基于預(yù)先搭建的光學(xué)定位系統(tǒng)，建立超聲圖像坐標(biāo)系在相機(jī)坐標(biāo)系下的相對(duì)位置關(guān)系，同時(shí)獲取目標(biāo)對(duì)象的光學(xué)圖像；然后基于光學(xué)圖像獲取目標(biāo)對(duì)象中關(guān)鍵點(diǎn)的位置特征圖；最后基于上述光學(xué)圖像和位置特征圖獲取目標(biāo)對(duì)象的標(biāo)記圖。本申請(qǐng)?zhí)岢龅膶?shí)時(shí)標(biāo)記超聲傳感器空間位姿的技術(shù)，可以更加高效、準(zhǔn)確標(biāo)記超聲圖像，方便了后期的分析與研究。

技術(shù)研發(fā)人員：金志斌,蔡昀燁,袁杰,張瑋婧,李電迅,趙荻,林玥辰
受保護(hù)的技術(shù)使用者：南京鼓樓醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/24