本技術(shù)涉及自動控制，尤其涉及一種基于人體關(guān)鍵特征定位的超聲機器人軌跡規(guī)劃方法。

背景技術(shù)：

1、超聲機器人是傳統(tǒng)醫(yī)學(xué)與人工智能相結(jié)合的產(chǎn)物，它一般由超聲機械臂、超聲設(shè)備、全局相機、力傳感器等組成，能逐漸代替超聲醫(yī)師進行自主掃描，同時實時處理掃描得到的超聲圖像，以輔助超聲醫(yī)師進行診斷與治療。

2、為了讓超聲機器人能夠在人體目標(biāo)皮膚區(qū)域進行掃描與采集圖像，需要對人體目標(biāo)組織的解剖結(jié)構(gòu)進行定位，有研究通過機械臂示教的方式進行定位，也有研究將磁共振成像(mri)或計算機斷層掃描(ct)圖像與超聲圖像進行配準(zhǔn)，從而借助其他醫(yī)學(xué)影像定位人體目標(biāo)組織，然而，第一種方法的自主性太差，過分依賴人為操作；第二種方法的成本較高，在進行超聲掃描的同時，還需要進行mri或ct操作，違背了超聲診療成本低的特點。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例的主要目的在于提出一種基于人體關(guān)鍵特征定位的超聲機器人軌跡規(guī)劃方法，以提高超聲機器人掃描的掃描精度。

2、為實現(xiàn)上述目的，本技術(shù)實施例的一方面提出了一種基于人體關(guān)鍵特征定位的超聲機器人軌跡規(guī)劃方法，所述方法包括以下步驟：

3、檢測全局相機獲取的圖像中的人體進而輸出人體的檢測框；

4、基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部；

5、控制超聲機器人中的超聲探頭移動到所述人體頸部的位置，進而解算得到所述超聲探頭的位姿作為初始位姿；

6、解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，進而控制所述超聲探頭從所述初始位姿運動到所述期望位姿；

7、根據(jù)所述人體關(guān)鍵特征對所述超聲探頭從初始掃描位置開始進行軌跡規(guī)劃；其中，所述超聲探頭處于所述期望位姿時所處的位置作為所述初始掃描位置。

8、在一些實施例中，所述檢測全局相機獲取的圖像中的人體進而輸出人體的檢測框，包括以下步驟：

9、以resnet作為檢測主干網(wǎng)絡(luò)，利用所述檢測主干網(wǎng)絡(luò)提取所述圖像的特征圖作為檢測特征圖；

10、以fpn作為檢測頸部網(wǎng)絡(luò)，利用所述檢測頸部網(wǎng)絡(luò)對所述檢測特征圖進行特征融合與增強，得到多尺度特征圖；

11、以faster?r-cnn作為檢測頭部網(wǎng)絡(luò)，使用所述檢測頭部網(wǎng)絡(luò)中的rpn在所述多尺度特征圖上生成候選區(qū)域，再通過align操作提取所述候選區(qū)域的特征，進而對所述候選區(qū)域的特征進行分類和檢測框回歸，得到人體的所述檢測框。

12、在一些實施例中，所述基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部，包括以下步驟：

13、以resnet作為預(yù)測主干網(wǎng)絡(luò)，利用所述預(yù)測主干網(wǎng)絡(luò)對所述圖像中所述檢測框?qū)?yīng)的子圖像提取特征，得到預(yù)測特征圖；

14、以fmp作為預(yù)測頸部網(wǎng)絡(luò)，利用所述預(yù)測頸部網(wǎng)絡(luò)對所述預(yù)測特征圖進行選擇、拼接和縮放進而轉(zhuǎn)換為適合預(yù)測頭部網(wǎng)絡(luò)的格式，得到轉(zhuǎn)換特征圖；

15、利用所述預(yù)測頭部網(wǎng)絡(luò)將所述預(yù)測特征圖和所述轉(zhuǎn)換特征圖中的所述人體關(guān)鍵特征輸出為對應(yīng)的熱圖；其中，每個熱圖的值用于反映對應(yīng)所述人體關(guān)鍵特征在對應(yīng)特征圖上各位置的置信度；

16、根據(jù)所述熱圖解碼出包括所述人體關(guān)鍵特征的解碼圖像，進而根據(jù)所述解碼圖像預(yù)測出所述人體關(guān)鍵特征的位置。

17、在一些實施例中，所述解算得到所述超聲探頭的位姿作為初始位姿，包括以下步驟：

18、解算出經(jīng)過所述人體頸部的位置的目標(biāo)法向量作為所述超聲探頭的位姿的y軸；

19、根據(jù)所述人體關(guān)鍵特征確定人體左右肩的特征點；

20、將所述人體左右肩的特征點連線；

21、確定與所述連線平行且經(jīng)過所述人體頸部的位置的直線為所述超聲探頭的位姿的x軸；

22、其中，所述超聲探頭的位姿的y軸和x軸作為所述初始位姿。

23、在一些實施例中，所述解算出經(jīng)過所述人體頸部的位置的目標(biāo)法向量作為所述超聲探頭的位姿的y軸，包括以下步驟：

24、在所述人體頸部的位置的預(yù)設(shè)范圍內(nèi)選取多個不共線的目標(biāo)點，且各個所述目標(biāo)點位于人體頸部的區(qū)域；

25、利用所述全局相機獲取各個所述目標(biāo)的深度信息；

26、根據(jù)所述深度信息形成一個經(jīng)過所述人體頸部的位置的平面；

27、根據(jù)所述平面和所述人體頸部的位置解算出所述目標(biāo)法向量作為所述超聲探頭的位姿的y軸。

28、在一些實施例中，所述解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，包括以下步驟：

29、構(gòu)建二次規(guī)劃問題如下：

30、

31、其中，x為待優(yōu)化的決策變量，h為對稱正定的二次矩陣，f為線性系數(shù)向量，(a?b)用于描述不等式約束，(aeq?beq)用于描述等式約束，(lb?ub)用于約束x的大??；

32、根據(jù)所述超聲機器人的機械臂的邊界條件、所述機械臂的末端位姿、避障約束條件和所述機械臂的關(guān)節(jié)角限制條件將所述二次規(guī)劃問題進行離散化，得到軌跡優(yōu)化問題；

33、所述軌跡優(yōu)化問題為：

34、

35、其中，q為待優(yōu)化的關(guān)節(jié)角變量，(aobs?bobs)用于描述障礙物約束條件，(abd?bbd)用于描述邊界約束條件，(qmin?qmax)用于描述關(guān)節(jié)角約束條件；

36、根據(jù)所述軌跡優(yōu)化問題求解得到所述機械臂中各個關(guān)節(jié)的期望關(guān)節(jié)角；

37、根據(jù)各個所述期望關(guān)節(jié)角確定所述期望位姿。

38、在一些實施例中，所述根據(jù)所述人體關(guān)鍵特征對所述超聲探頭從初始掃描位置開始進行軌跡規(guī)劃，包括以下步驟：

39、從所述初始掃描位置開始沿著同一方向掃描采樣得到多個掃描點，并采用多項式插值的方法得到掃描的軌跡；

40、根據(jù)所述全局相機獲取的點的深度信息解算出所述超聲探頭在各個所述掃描點處的期望探頭位姿；

41、根據(jù)各個所述期望探頭位姿控制超聲機器人實現(xiàn)掃描操作；

42、將所述超聲探頭旋轉(zhuǎn)90°，返回所述從所述初始掃描位置開始沿著同一方向掃描采樣得到多個掃描點，并采用多項式插值的方法得到掃描的軌跡的步驟；

43、在所述超聲探頭掃描的過程中，采用隨機游走算法對所述全局相機拍攝的圖像中像素的置信度進行求解；當(dāng)任意區(qū)域的像素的所述置信度低于設(shè)定閾值時，調(diào)整所述超聲探頭的位姿；

44、在所述超聲探頭掃描的過程中，利用nnu-net模型對所述全局相機拍攝的圖像進行圖像分割，得到甲狀腺區(qū)域；根據(jù)分割得到的所述甲狀腺區(qū)域動態(tài)調(diào)整所述超聲探頭的位姿。

45、為實現(xiàn)上述目的，本技術(shù)實施例的另一方面提出了一種基于人體關(guān)鍵特征定位的超聲機器人軌跡規(guī)劃裝置，所述裝置包括：

46、人體檢測單元，用于檢測全局相機獲取的圖像中的人體進而輸出人體的檢測框；

47、特征預(yù)測單元，用于基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部；

48、位姿解算單元，用于控制超聲機器人中的超聲探頭移動到所述人體頸部的位置，進而解算得到所述超聲探頭的位姿作為初始位姿；

49、探頭移動單元，用于解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，進而控制所述超聲探頭從所述初始位姿運動到所述期望位姿；

50、軌跡規(guī)劃單元，用于根據(jù)所述人體關(guān)鍵特征對所述超聲探頭從初始掃描位置開始進行軌跡規(guī)劃；其中，所述超聲探頭處于所述期望位姿時所處的位置作為所述初始掃描位置。

51、為實現(xiàn)上述目的，本技術(shù)實施例的另一方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述的方法。

52、為實現(xiàn)上述目的，本技術(shù)實施例的另一方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的方法。

53、本技術(shù)實施例至少包括以下有益效果：

54、本技術(shù)可以檢測全局相機獲取的圖像中的人體進而輸出人體的檢測框；基于檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，人體關(guān)鍵特征包括人體頸部；控制超聲機器人中的超聲探頭移動到人體頸部的位置，進而解算得到超聲探頭的位姿作為初始位姿；解算得到超聲探頭在人體關(guān)鍵特征處的期望位姿，進而控制超聲探頭從初始位姿運動到期望位姿；根據(jù)人體關(guān)鍵特征對超聲探頭從初始掃描位置開始進行軌跡規(guī)劃；其中，超聲探頭處于期望位姿時所處的位置作為初始掃描位置。本技術(shù)通過人體關(guān)鍵特征對超聲探頭進行軌跡規(guī)劃，可實施調(diào)整超聲探頭在掃描過程中的位姿，能夠提高超聲探頭的掃描精度。