本發(fā)明涉及機器人，具體涉及一種基于多模型協(xié)同的智能機械臂控制系統(tǒng)方案，屬于自動化與智能控制領域。本發(fā)明的應用范圍包括機械臂的智能化操作以及復雜環(huán)境中的自主決策與控制等場景，尤其適用于需要多功能機械臂操作的智能機器人控制領域。
背景技術：
：：1、近年來，隨著工業(yè)4.0的快速發(fā)展，智能機械臂作為機器人技術的重要組成部分，廣泛應用于工業(yè)制造、物流分揀、醫(yī)療輔助和服務機器人等領域。機械臂的智能化控制能力直接決定了其在不同應用場景中的效率和可靠性。在現(xiàn)有技術中，機械臂的控制通常依賴以下幾種主流方法：2、1.基于軌跡規(guī)劃的控制方法：軌跡規(guī)劃技術是機械臂控制的基礎。傳統(tǒng)方法多采用預設軌跡并通過伺服控制實現(xiàn)任務執(zhí)行。然而，固定軌跡無法適應動態(tài)環(huán)境中的任務需求，例如動態(tài)物體抓取或路徑臨時障礙規(guī)避，導致靈活性和適應性不足。3、2.基于視覺傳感器反饋的實時控制方法：隨著計算機視覺技術的發(fā)展，視覺反饋控制逐漸成為主流技術之一。這種方法利用視覺傳感器獲取環(huán)境信息，通過圖像處理和計算生成實時控制指令，結合傳統(tǒng)軌跡規(guī)劃等算法進行機器人控制。但視覺反饋技術的實時性和魯棒性受限于計算資源和算法復雜度，在處理遮擋、光線變化等場景時存在顯著局限性。4、盡管上述技術在各自領域中取得了顯著進展，但在實際應用中仍存在以下技術瓶頸：5、1環(huán)境適應性不足：現(xiàn)有的機械臂控制系統(tǒng)在應對非結構化環(huán)境和復雜動態(tài)場景時，表現(xiàn)出明顯不足。例如，服務機器人的任務場景往往具有高度的多樣性和不確定性，如多樣的操作用品、復雜多變的服務場景等問題，這對機械臂的環(huán)境感知與動作規(guī)劃提出了極高的要求。6、2.可執(zhí)行任務有限：目前主流的機械臂控制系統(tǒng)均為基于固定邏輯編程的控制器，尤其是工業(yè)生產(chǎn)流水線上的機械臂，僅能夠執(zhí)行預先編譯好的一段程序，實現(xiàn)一個重復不變的軌跡與操作流程，市面上一些服務型機器人或機械臂也僅僅是增加了程序的復雜性，預定義了更多的操作流程，對于要達到具身智能的水平還遠遠不夠，不能完成預定義之外的任務，不具備泛化能力。7、3.智能性有待提高：尤其體現(xiàn)在人機交互層面，機器人對人類命令理解仍舊建立在預定義指令與預定義任務庫上，換句話說就是機器人并不理解人類命令，而是對接收到的指令簡單地進行預定義操作庫的匹配。要想對多種多樣的人類語言命令進行響應，就需要不斷豐富預定義的內容，且這樣的系統(tǒng)對于人類指令的泛化能力有限。8、為了解決以上問題，提出通過引入多種模型的協(xié)作機制，利用多模態(tài)模型對圖像信息特征的理解，提高系統(tǒng)對復雜環(huán)境的適應性；利用通用語言模型對人類語言的理解能力，完成機械臂的任務規(guī)劃，顯著提高機械臂系統(tǒng)可執(zhí)行任務種類與泛化能力，同時提高系統(tǒng)的智能化水平。然而，目前尚缺乏一種完整的多模型協(xié)同控制的智能機械臂控制系統(tǒng)方案。9、基于此，本發(fā)明提出了一種基于多模型協(xié)同的智能機械臂控制系統(tǒng)方案。該方案通過整合以大模型解決方案為核心的軌跡規(guī)劃、視覺反饋和自然語言處理等多種技術，形成多模型協(xié)同的機械臂控制體系，為機械臂控制系統(tǒng)解決復雜任務提供全面、智能的解決方案。技術實現(xiàn)思路1、本發(fā)明要解決的技術問題是針對上述現(xiàn)有技術不足，提供一種基于多模型協(xié)同的智能機械臂控制系統(tǒng)方案，可以應對復雜多樣的服務環(huán)境，理解用戶發(fā)出的復雜隱晦的自然語言命令并操作機械臂滿足用戶需求。2、為解決上述技術問題，本發(fā)明所采取的技術方案是：模塊化設計系統(tǒng)，將系統(tǒng)劃分為：人機交互指令接收、檢測與感知、任務解耦規(guī)劃與程序生成、執(zhí)行操作四個部分。并在各個模塊中引入大模型技術，并提出對應的技術實施方案。其中系統(tǒng)方案具體是指，將系統(tǒng)框架設計分為以下4個步驟：3、步驟1：對用戶語音及文本輸入的自然語言進行采集，以大模型解決方案處理用戶輸入，并形成英文的特定文本格式；4、步驟2：以大模型解決方案為基礎的視覺檢測與目標定位方案，對相機傳感器采集的圖像進行處理，識別定位系統(tǒng)目標操作對象，返回其對應位姿信息；以大模型解決方案為基礎的環(huán)境信息理解與感知，將相機返回的圖像轉化為對環(huán)境信息的描述文本；5、步驟3：以大模型解決方案為基礎的任務解耦與規(guī)劃，根據(jù)來自步驟1的用戶語言指令英文文本信息與步驟2返回的目標位姿信息，進行任務解耦與規(guī)劃；以大模型解決方案為基礎，將規(guī)劃后的任務轉換為可執(zhí)行的機器語言代碼，使其能夠直接用于機械臂的控制和執(zhí)行；6、步驟4：以大模型解決方案為基礎，對步驟3設計的可變執(zhí)行程序進行復查、糾正與優(yōu)化，進而編譯運行，操控機械臂執(zhí)行一系列精準且符合用戶需求的操作。7、首先，步驟1中，對用戶語音及文本輸入的自然語言進行采集，以大模型解決方案處理用戶輸入，并形成特定的英文文本格式，具體步驟為：(1)應用預訓練的自然語言翻譯模型，將用戶輸入的任何語種的文本均統(tǒng)一翻譯為英文文本；(2)對于用戶的語音輸入，采用預訓練語音轉文本模型作為語音識別的內核，采集用戶發(fā)出的語音指令，通過語音轉文本模型轉化為文本，再由語言翻譯模型統(tǒng)一翻譯為英文文本；(3)將獲得的英文文本輸入預訓練的格式轉換大模型，該模型具備語義解析能力，能夠對文本結構進行深度解構，識別并解析指令中的核心謂詞—賓語結構，進而轉換為高度結構化的任務表達形式，如：“get—apple”“put—plate”，以優(yōu)化后續(xù)步驟3中指令解讀與任務規(guī)劃大模型的解析能力，從而提升機械臂對用戶意圖的精準理解及任務執(zhí)行的智能化水平。8、步驟2中，以大模型解決方案為基礎的視覺檢測與目標定位方案，其具體步驟為：由深度相機作為感知傳感器，對傳感器返回的rgb圖像應用預訓練的識別定位多模態(tài)大模型進行目標識別，該模型具備識別rgb圖像中目標類別與目標像素坐標的能力，能夠確定用戶指令中的目標是否存在：9、(1)存在則輸出目標在圖像上的像素坐標值，結合相機返回的深度圖像及相機參數(shù)計算目標的在相機坐標系下的坐標值，結合相機及機械臂運動學，求解目標在機械臂坐標系下的坐標輸出下述格式信息：10、11、將以上識別目標物體存在與否及獲取目標坐標的完整流程封裝為感知api，其調用格式為“detect(‘xxx’)”，可直接返回xxx存在與否及在機械臂坐標系下坐標。12、除此之外，步驟2中，以大模型解決方案為基礎的環(huán)境信息理解與感知，具體步驟為：應用預訓練的環(huán)境描述多模態(tài)大模型對相機返回的rgb圖像進行理解，該模型具備以下能力：13、物體識別：識別環(huán)境中的物體類別及其位置；14、空間關系推理：理解物體之間的空間關系，例如“蘋果在桌子上”“盤子在蘋果附近”；15、環(huán)境描述生成：基于檢測結果生成可讀的環(huán)境描述文本，以支持后續(xù)的任務規(guī)劃，如“there?is?an?apple?on?the?table.there?is?a?plate?around?the?apple.”；16、對環(huán)境信息進行描述的目的是為后續(xù)的任務解耦與規(guī)劃提供客觀依據(jù)，避免后續(xù)任務規(guī)劃產(chǎn)生不符合客觀環(huán)境的任務規(guī)劃或錯誤，導致機械臂執(zhí)行錯誤動作，例如：若規(guī)劃任務要求“抓取盤子”，但環(huán)境信息中未檢測到盤子，則返回錯誤，避免機械臂執(zhí)行無效動作；若目標物體被遮擋或不可見，可請求調整相機角度及進行額外的感知操作。17、步驟3中，以大模型解決方案為基礎的任務解耦與規(guī)劃，具體步驟為：由步驟2返回的工作環(huán)境信息的英文描述文本及用戶需求指令英文文本同步整合為待解析的任務信息文本：18、{19、"environment?description":"there?is?an?apple?on?the?table.there?is?aplate?around?the?apple.",20、"user?instruction":"get—apple.put—plate."21、}22、根據(jù)上述信息，進行任務解析與結構化處理：由預訓練的指令解讀與任務規(guī)劃大模型對任務信息文本進行用戶意圖理解與推測，對任務推理規(guī)劃并進行邏輯順序排布，將復雜隱晦的任務進行細節(jié)的豐富，并拆分成n條簡單的執(zhí)行任務；例如，對于“將蘋果放置到盤子上”這一任務，模型需要解析出操作動作(抓取、放置)、對象(蘋果、盤子)及執(zhí)行順序，進而生成結構化任務序列：23、目標檢測：識別場景中指定對象的世界坐標，“1.get?the?spatial?coordinatesof?the?apple.”24、物體抓取：根據(jù)檢測結果執(zhí)行抓取動作，“2.picking?apples.”25、目標定位：確定放置目標的位置信息，“3.get?the?spatial?coordinates?of?theplate.”26、物體放置：完成放置操作，“4.put?it?on?the?plate.”27、經(jīng)由指令解讀與規(guī)劃模型獲得的任務條目繼續(xù)傳遞，交由訓練后的程序翻譯模型進行逐條任務的程序翻譯。28、步驟3中，以大模型解決方案為基礎，將規(guī)劃后的任務轉換為可執(zhí)行的機器語言代碼，使其能夠直接用于機械臂的控制和執(zhí)行，具體步驟如下：首先，系統(tǒng)接收由任務規(guī)劃模塊生成的條列式任務描述，該描述基于用戶指令、環(huán)境感知數(shù)據(jù)及任務目標，包括但不限于抓取、放置、移動、旋轉等操作，由于自然語言任務描述無法直接用于機器人控制，系統(tǒng)需要依托預訓練的翻譯大模型，將任務文本轉換為可編譯運行的控制程序：為了確保生成的程序能與具體的機械臂控制系統(tǒng)兼容，翻譯大模型需要結合以下兩個核心api進行代碼轉換：29、感知api(步驟2獲得目標的世界坐標)，用于調用傳感器或計算機視覺模型獲取環(huán)境中的目標坐標，如detect(‘a(chǎn)pple’)返回蘋果的位置；30、機械臂控制api(可供步驟3編譯運行的程序接口)，用于調用機械臂運動控制指令，如get(pos_apple)執(zhí)行抓取操作；31、翻譯模型在此基礎上將結構化任務轉換為可執(zhí)行的程序文本：32、pos_apple＝detect(‘a(chǎn)pple’)#獲取蘋果的位置33、get(pos_apple)#抓取蘋果34、pos_plate＝detect(‘plate’)#獲取盤子的位置35、put(pos_plate)#放置蘋果到盤子上36、由此輸出符合機械臂控制邏輯且能夠被計算機執(zhí)行的機器語言。37、步驟4中，以大模型解決方案為基礎，對步驟3設計的可變執(zhí)行程序進行復查、糾正與優(yōu)化，進而編譯運行，操控機械臂執(zhí)行一系列精準且符合用戶需求的操作，具體步驟如下：38、首先，在每個系統(tǒng)執(zhí)行周期內，由步驟3生成的機械臂控制程序文本均會動態(tài)調整，以適應環(huán)境變量、任務變化及執(zhí)行策略優(yōu)化，由于不同任務的上下文及環(huán)境感知結果存在變化，可能導致程序邏輯出現(xiàn)偏差，甚至引發(fā)潛在的任務執(zhí)行失敗風險，因此，本步驟采用預訓練的多層次代碼審核與優(yōu)化大模型，對控制程序進行全面復查，并在多維度上進行糾正與增強，包括：39、(1)語法與邏輯一致性檢查：對控制程序進行詞法、語法及語義層面的分析，確保代碼符合目標編程語言的語法規(guī)范，并避免變量未定義、類型不匹配、循環(huán)異常、數(shù)組越界等常見錯誤；此外，該模型進一步檢查指令之間的邏輯一致性，確保程序執(zhí)行的前后關聯(lián)性，例如“抓取物體”操作不能在“檢測目標不存在”的情況下執(zhí)行；40、(2)約束條件及安全性驗證：對控制程序進行安全性檢查，包括但不限于機械臂運動學約束、關節(jié)角度限制、碰撞檢測及力矩限制，確保機械臂運行過程中不會因軌跡計算錯誤、冗余運動或超出物理極限而導致設備損壞或安全事故；同時，系統(tǒng)對執(zhí)行的每條指令進行上下文依賴性分析，確保任務的前置條件得到滿足，避免出現(xiàn)異常執(zhí)行情況，例如機械臂在“釋放物體”前未完成“抓取”任務；41、(3)任務優(yōu)化與資源調度：對控制程序的任務序列進行智能優(yōu)化，最大化執(zhí)行效率并最小化資源消耗；例如，通過動態(tài)重排序減少機械臂的空載運動，優(yōu)化路徑規(guī)劃以降低執(zhí)行時間，并調整抓取角度以提高操作穩(wěn)定性；此外，系統(tǒng)可根據(jù)任務優(yōu)先級與實時反饋信息，對執(zhí)行計劃進行調整，以適應環(huán)境變化或用戶臨時需求；42、(4)冗余代碼檢測與程序精簡：對控制程序中可能存在的冗余指令、不必要的循環(huán)、重復調用的api或變量進行裁剪，以提升代碼執(zhí)行效率；例如，如果“檢測物體”操作已經(jīng)在前一幀執(zhí)行并返回了有效坐標，則后續(xù)無需再次調用檢測api，從而減少計算開銷，提高整體響應速度；43、經(jīng)過上述多層次優(yōu)化與驗證的控制程序將被編譯并部署至機械臂控制器，實現(xiàn)對機械臂的精準控制，確保其按照用戶意圖完成操作任務，提高執(zhí)行的穩(wěn)定性、智能化水平及安全性，從而滿足復雜應用場景下的精細化需求。44、與現(xiàn)有技術相比，本方案設計的智能機械臂控制系統(tǒng)提高了機械臂應對復雜環(huán)境的能力，提高了對復雜隱晦的自然語言指令的理解能力，從而實現(xiàn)復雜、智能的機械臂控制，提高了機械臂的多任務執(zhí)行能力和智能化水平。當前第1頁12當前第1頁12