本發明涉及一種基于多模態大模型的機器人控制方法，屬于機器人控制領域。

背景技術：

1、傳統機器人很難僅僅依靠一個較為模糊的指令就能夠完成用戶需求的所有復雜動作(例如：幫我把廚房打掃了)，而是依賴特定任務的手工設計和優化，這種任務特定的控制方法使得機器人在面對新的、未見過的任務時，往往表現出較低的適應性和靈活性。并且，機器人不可能一直處于理想的環境中，當機器人處于動態多變的復雜環境中時，各種因素都會影響機器人的性能(例如一直行動的路人)。

2、隨著當前人工智能技術的快速發展，大語言模型(llms)在多個領域展取得了革命性的突破。大語言模型(llms)是指具有海量參數(通常在數十億到數千億不等)的深度學習模型，主要用于處理和生成自然語言文本。這些模型通過在大規模文本數據集上進行預訓練，學習各類語言相關的知識，能夠生成如同人類般連貫、自然的文本，完成各種語言任務。而多模態大模型(mm-llms)不僅擁有和llms相同的文本處理能力，還能夠結合多種不同類型模態的輸入來輔助理解。它通過融合不同模態的信息，學習它們之間的關聯和交互，從而更全面、準確地理解和生成信息，為各種復雜的任務提供更強大的支持。由于多模態大模型過于出色的能力，將多模態大模型應用于機器人控制上逐漸成為研究熱點。

3、大模型微調技術一般是指在已經預訓練好的大型深度學習模型基礎上，使用私密的、特定任務相關的數據集對模型進行進一步訓練的過程，旨在使模型能夠適應新的、具體的任務或領域，從而提高模型的實用性和性能。

4、綜上所述，傳統機器人在復雜任務和動態環境中的局限性促使研究人員探索更先進的技術解決方案。大語言模型和多模態大模型的快速發展為機器人控制提供了新的可能性，而大模型微調技術則為這些模型的適應性和性能提升提供了有效手段。這些技術的結合能夠顯著增強機器人的人機交互能力和復雜環境處理能力，使其能夠在更廣泛的應用場景中有效運行。同時現有的多模態大模型或大語言模型的機器人控制方法存在以下缺陷：

5、計算成本高昂：現有的多模態大模型或大語言模型的復雜性導致在訓練及其推理過程種需要大量的計算資源，尤其是在處理大規模數據集時，需要大規模并行計算能力，這限制了其在實際機器人應用中的廣泛部署。例如，一些模型需要大量的計算資源和時間來進行微調，這在實際應用中是不切實際的。這種高昂的訓練成本使得許多小型研究機構和個人難以承擔，從而限制了模型的廣泛應用。

6、對特定任務需要大量數據：成熟優良的機器人數據集的構建還需要大量的時間和人力成本，且小規模的數據集的泛化能力較差。此外，多模態數據集的質量評估和改進是一個復雜的問題，因為它需要考慮不同類型數據之間的關系和相互作用。

7、單個模型泛化能力有限：現有的大模型在特定數據集上進行微調后，雖然在該數據集上表現良好，但在其他數據集上的泛化能力較差。例如，一些模型在特定任務上表現優異，但在新的任務或環境中表現不佳。

8、單個模型實現多種目標困難：現有的大模型僅能在特定或個別任務上表現出極好的效果，但當想要讓單個模型實現多個功能時，反而會導致在各個功能上表現均不盡人意。

技術實現思路

1、針對現有基于大模型的機器人控制方法的泛化性和適應性的問題，本發明提供一種基于多模態大模型的機器人控制方法。

2、本發明的一種基于多模態大模型的機器人控制方法，包括：

3、s1、選擇基座多模態大模型和大語言模型，并結合機器人的多模態微調數據集和子任務-機器指令對的微調數據集，分別對基座多模態大模型和大語言模型進行微調得到多模態規劃大模型和指令生成模型；其中多模態規劃大模型用于根據用戶的要求和歷史行為記錄，解構出子任務序列，指令生成模型用于根據解構出的子任務序列生成相應控制指令；

4、s2、通過多模態規劃模型、指令生成模型和規劃指針對機器人進行控制；

5、其中，規劃指針隊列用于按照子任務的順序存儲指令生成模型生成的相應控制指令，規劃指針指向規劃指令隊列中當前正在執行的控制指令，正常執行完的控制指令被移入歷史行為記錄中存儲，若在執行過程中用戶發出新的要求，規劃指針將指向新輸入的控制指令，且將用戶前一要求對應的控制指令舍棄；

6、s3、通過人機交互對規劃控制進行評判，如果本次執行效果好，則將本次規劃的內容存入優秀數據集中，如果本次執行效果差，則丟棄本次規劃的內容；

7、s4、反復執行s3，直至執行次數達到設定值，若成功率達到99％以上，則轉入s5，否則，利用優秀數據集對多模態規劃模型和指令生成模型進行微調優化，轉入s3；

8、s5、利用規劃指針、微調優化后的多模態規劃模型和指令生成模型對機器人進行控制。

9、作為優選，所述s5包括：

10、s51、通過規劃指針、微調優化后的多模態規劃模型、指令生成模型和規劃指針對機器人進行控制；

11、s52、判斷控制指令是否正確執行，若否，則發出信號給多模態規劃模型、指令生成模型和規劃指針；

12、多模態規劃模型、指令生成模型接收到信號后，進行重新規劃，輸出新的控制指令；

13、規劃指針接收到信號后，停止當前正在執行的控制指令，并將用戶當前要求對應的控制指令舍棄，等待新的控制指令。

14、作為優選，s5中，多模態規劃模型、指令生成模型接收到信號后，進行重新規劃，輸出新的控制指令的方法：

15、通過分析錯誤的原因和正確的解決方法對多模態規劃模型、指令生成模型進行調整；

16、利用調整后的多模態規劃模型、指令生成模型對用戶的要求重新進行規劃，輸出新的控制指令。

17、作為優選，s1中，對基座多模態大模型和大語言模型進行微調：

18、在基座多模態大模型及大語言模型內部增加低秩矩陣a和b，通過機器人的多模態微調數據集和子任務-機器指令對的微調數據集微調更新低秩矩陣a和b，得到多模態規劃大模型和指令生成模型的權重為δw+ab。

19、作為優選，本技術方法還包括：通過使用思維鏈和基于少量示例的方法，為多模態規劃模型和指令生成模型編寫對應的提示詞。

20、作為優選，為多模態規劃模型編寫對應的提示詞：

21、創建智能交互框架，捕捉用戶意圖，融合多維度信息進行深度語義解析輸入，輸入的內容包括所處環境的視覺場景、歷史行為記錄和用戶需求；

22、根據輸入的內容運用自然語言處理與計算機視覺技術，生成多個子任務，利用強化學習策略評估各子任務的可行性和優先級，構建執行鏈，最終選擇可執行概率最高的執行鏈進行輸出，輸出：行為，子任務；

23、少量示例包括：

24、當用戶需求是：幫我把沙發上離我最近的那本書拿過來；

25、多模態規劃模型生成的子任務包括：

26、1、通過深度攝像頭定位沙發及書籍位置，計算與用戶的相對距離；

27、2、篩選出距離用戶最近的那本書；

28、3、規劃取書路徑，避開障礙物；

29、4、移動到書旁，抓取書籍；

30、5、按原路返回用戶身邊，將書遞給用戶；

31、執行鏈和對應可執行概率：

32、1->2->3->4->5，75％；

33、2->1->3->4->5，35％；

34、3->1->2->4->5，20％；

35、選擇1->2->3->4->5，輸出：行為，子任務。

36、作為優選，為指令生成模型編寫對應的提示詞：

37、指令生成模型輸入的內容包括：行為、子任務和過往任務執行記錄，所述過往任務執行記錄涵蓋任務執行的成功失敗案例及相應參數調整；

38、結合輸入的內容和實時環境反饋，將子任務解構為機器人的控制指令，并進行安全校驗，確保控制指令精確無誤且符合機器人運動學及動力學限制；其中，使用智能映射工具將控制指令中的抽象地點與具體位置坐標關聯，運用物體識別工具輔助定位控制指令中的目標物體；

39、少量示例包括：

40、當前子任務為：將客廳茶幾上的藍色筆記本拿到書房的書架旁，將子任務解構為機器人的控制指令：

41、1、導航：導航至客廳茶幾

42、2、物體檢測：檢測藍色筆記本

43、3、抓取：抓取藍色筆記本

44、4、導航：導航至書房書架

45、5、地方：放置到書架。

46、本發明的有益效果，相較于傳統的機器人控制方法，需要為每個任務設置特定的觸發邏輯和控制模型，通過使用多模態大模型結合指令生成模型，在面對不同的任務時展現出更強的適應性和泛化性。本發明增添了機器人的人機交互能力，傳統的機器人僅僅會對特定的任務和需求做出反應，而通過大模型控制的機器人，除了能夠完成相應的任務，還能夠與用戶交流，為用戶提供情緒價值和陪護，從而提供更加智能和個性化的服務。本發明通過反復微調和優化，能夠不斷提高機器人的控制指令規劃性能，最終實現高效、準確的機器人控制。本發明通過使用多模態規劃模型和指令生成模型分別完成各自領域的內容，實現了高效的模型分工與協同配合。多模態大模型負責處理和理解用戶意圖、分析多模態信息，而大語言模型則負責生成具體的控制指令。