本公開涉及醫療，尤其涉及放療，具體涉及一種模型訓練方法、治療計劃方法、設備及介質。

背景技術：

1、在醫療技術領域中，放射治療(簡稱放療)是治療腫瘤的重要手段之一。在采用放療為待治療對象進行治療前，通常需要預先設計治療計劃。

2、目前，治療計劃的設計通常依賴物理師(人工)根據自身的經驗和專業技能進行反復調整，才能設計出較為合理的治療計劃。因此，現有的治療計劃方法對物理師的臨床經驗要求較高，并且需要不斷進行試錯調整，費時費力，效率較低。

技術實現思路

1、本公開提供了一種模型訓練方法、治療計劃方法、設備及介質。

2、第一方面，提供了一種用于生成治療計劃的深度強化學習模型訓練方法，深度強化學習模型被配置為包括：多個動作預測網絡層以及評價預測網絡層，不同的動作預測網絡層用于輸出治療計劃包括的不同類型的靶點參數，該方法包括：獲取目標靶區的初始劑量分布狀態數據；基于目標靶區的初始劑量分布狀態數據、多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，確定目標數據；基于目標數據，更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，完成對深度強化學習模型的當前次訓練；迭代上述訓練過程，直至對深度強化學習模型的訓練次數達到預設次數后，得到訓練完成的深度強化學習模型；

3、其中，目標數據包括：目標靶區的最終劑量分布和多個劑量分布狀態數據、多個動作預測網絡層輸出的與多個劑量分布狀態數據一一對應的多個動作集合、評價預測網絡層輸出的與多個動作集合一一對應的多個預測價值、與多個動作集合一一對應的多個實際獎勵值、目標靶區的預測價值和實際獎勵值；多個動作集合中的每個動作集合包括由多個不同類型的靶點參數組成的靶點參數組合。

4、在一些實施例中，多個動作預測網絡層包括：靶點尺寸預測網絡層、靶點位置預測網絡層、靶點權重預測網絡層中的至少兩個。

5、在一些實施例中，基于目標靶區的初始劑量分布狀態數據、多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，確定目標數據，包括：基于目標靶區的當前劑量分布狀態數據、每個動作預測網絡層的當前策略數據，確定由多個動作預測網絡層輸出的與當前劑量分布狀態數據對應的動作集合，以及基于目標靶區的當前劑量分布狀態數據、評價預測網絡層的當前策略數據，確定由評價預測網絡層輸出的與動作集合對應的預測價值；基于當前劑量分布狀態數據對應的動作集合，確定目標靶區的劑量分布，并基于目標靶區的劑量分布，確定與動作集合對應的實際獎勵值；在目標靶區的劑量分布不滿足預設處方劑量，且，目標靶區中的靶點個數小于預設最大靶點個數時，基于目標靶區的劑量分布，更新目標靶區的當前劑量分布狀態數據；在目標靶區的劑量分布滿足預設處方劑量，和/或，目標靶區中的靶點個數等于預設最大靶點個數時，確定目標靶區的最終劑量分布及目標靶區的多個劑量分布狀態數據、多個動作預測網絡層輸出的與多個劑量分布狀態數據一一對應的多個動作集合、評價預測網絡層輸出的與多個動作集合一一對應的多個預測價值、與多個動作集合一一對應的多個實際獎勵值；基于目標靶區的最終劑量分布及與多個動作集合一一對應的多個預測價值，確定目標靶區的實際獎勵值和預測價值。

6、在一些實施例中，當多個動作預測網絡層包括自上而下部署的第一動作預測網絡層和第二動作預測網絡層時，基于目標靶區的當前劑量分布狀態數據、每個動作預測網絡層的當前策略數據，確定由多個動作預測網絡層輸出的與當前劑量分布狀態數據對應的動作集合，包括：基于當前劑量分布狀態數據及第一動作預測網絡層的當前策略數據，確定第一動作；基于當前劑量分布狀態數據、第一動作及第二動作預測網絡層的當前策略數據，確定與第一動作對應的第二動作。

7、在一些實施例中，當多個動作預測網絡層包括自上而下部署的第一動作預測網絡層、第二動作預測網絡層及第三動作預測網絡層時，基于目標靶區的當前劑量分布狀態數據、每個動作預測網絡層的當前策略數據，確定由多個動作預測網絡層輸出的與當前劑量分布狀態數據對應的動作集合，包括：基于當前劑量分布狀態數據及第一動作預測網絡層的當前策略數據，確定第一動作；基于當前劑量分布狀態數據、第一動作及第二動作預測網絡層的當前策略數據，確定與第一動作對應的第二動作；基于當前劑量分布狀態數據、第一動作、第二動作及第三動作預測網絡層的當前策略數據，確定與第一動作對應的第三動作。

8、在一些實施例中，基于目標數據，更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，包括：在當前次訓練得到的目標靶區的最終劑量分布滿足預設處方劑量時，確定當前次訓練得到的目標靶區的實際獎勵值是否大于動態獎勵閾值；動態獎勵閾值為上一次更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據時，使用的目標靶區的實際獎勵值；在當前次訓練得到的目標靶區的實際獎勵值大于動態獎勵閾值時，基于當前次訓練得到的目標靶區的實際獎勵值和預測價值，確定當前次訓練對應的目標靶區的損失值；在當前次訓練對應的目標靶區的損失值小于動態損失值時，基于當前次訓練得到的多個劑量分布狀態數據、與多個劑量分布狀態數據一一對應的多個動作集合、與多個動作集合一一對應的多個實際獎勵值、與多個動作集合一一對應的多個預測價值和目標靶區的實際獎勵值，更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據；動態損失值為上一次更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據時，使用的目標靶區的損失值。

9、在一些實施例中，基于當前次訓練得到的多個劑量分布狀態數據、與多個劑量分布狀態數據一一對應的多個動作集合、與多個動作集合一一對應的多個實際獎勵值、與多個動作集合一一對應的多個預測價值和目標靶區的實際獎勵值，更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，包括：基于與多個動作集合一一對應的多個實際獎勵值、目標靶區的實際獎勵值，確定多個動作集合的實際累計獎勵值，并基于多個劑量分布狀態數據、與多個劑量分布狀態數據一一對應的多個動作集合和多個動作集合的實際累計獎勵值，更新多個動作預測網絡層的當前策略數據；基于多個劑量分布狀態數據、與多個劑量分布狀態數據一一對應的多個動作集合和與多個動作集合一一對應的多個預測價值，更新評價預測網絡層的當前策略數據。

10、第二方面，提供一種治療計劃方法，包括：獲取待治療靶區的圖像數據及輪廓數據；基于待治療靶區的圖像數據及輪廓數據，確定待治療靶區的劑量分布狀態數據；將待治療靶區的劑量分布狀態數據輸入到深度強化學習模型中，以得到待治療靶區的由多個不同類型的靶點參數組成的靶點參數組合；深度強化學習模型為根據第一方面任一項實施例中的用于生成治療計劃的深度強化學習模型訓練方法訓練得到的；根據靶點參數組合生成待治療靶區的治療計劃。

11、第三方面，提供一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行上述第一方面或者第二方面任一項的方法。

12、第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，存儲介質上存儲有計算機程序，計算機程序用于執行上述第一方面或者第二方面任一項的方法。

13、本公開實施例提供了一種用于生成治療計劃的深度強化學習模型訓練方法、治療計劃方法、設備及介質，該深度強化學習模型被配置為包括：多個動作預測網絡層以及評價預測網絡層，不同的動作預測網絡層用于輸出治療計劃包括的不同類型的靶點參數。這樣，在獲取目標靶區的初始劑量分布狀態數據后，可以基于目標靶區的初始劑量分布狀態數據、多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，確定目標數據。接著，可以基于目標數據，更新多個動作預測網絡層的當前策略數據及評價預測網絡層的當前策略數據，完成對深度強化學習模型的當前次訓練。迭代上述訓練過程，直至對深度強化學習模型的訓練次數達到預設次數后，得到訓練完成的深度強化學習模型。

14、其中，目標數據包括：目標靶區的最終劑量分布和多個劑量分布狀態數據、多個動作預測網絡層輸出的與多個劑量分布狀態數據一一對應的多個動作集合、評價預測網絡層輸出的與多個動作集合一一對應的多個預測價值、與多個動作集合一一對應的多個實際獎勵值、目標靶區的預測價值和實際獎勵值；多個動作集合中的每個動作集合包括由多個不同類型的靶點參數組成的靶點參數組合。

15、由上可知，本公開可以將用于確定不同類型靶點參數的動作集合的整體任務，劃分為多個用于確定不同類型靶點參數的動作的子任務，由深度強化學習模型包括的多個動作預測網絡層中的每個動作預測網絡層完成一項子任務，即將復雜的整體任務分解為每個子任務進行計算，因此，通過多個動作預測網絡層可以提高靶點參數的確定效率。其次，由于深度強化學習符合伽瑪刀治療計劃設計的特點，可以讓計算機系統中的處理器實現重復試錯過程，因此，通過深度強化學習模型可以自動生成效果較好的靶點參數，從而根據靶點參數生成效果較好的治療計劃，降低了對臨床經驗的依賴，無需人工設置靶點參數即可提高治療計劃的效果，提升物理師設計治療計劃的效率。

16、應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。