本技術涉及模型優化，具體涉及一種基于客戶端的ai模型動態優化以及自適應推理方法。

背景技術：

1、隨著移動設備和邊緣計算的發展，ai模型正在逐漸從云端轉移到客端設備上進處理，然而，客戶端設備在計算資源、內存和電池壽命等方面有限，如何在這些限制條件下高效地運行復雜的ai模型成為一個挑戰，因此，本技術提出一種基于客戶端的ai模型動態優化以及自適應推理方法。

2、現有技術如公告號為：cn114035936a的發明申請專利公開的一種基于人工智能的多維并行處理系統和方法，通過數據并行，自動管理待處理數據，將待處理數據分配到硬件處理器上；序列并行，對數據進行切分和分配，將每個待處理數據放到多個處理器；流水并行，將模型分成多段，各段部署在不同的硬件處理器，并按模型順序串接，以及多維模型并行，對調度到所述處理器的所述待處理數據的訓練模型執行網絡模型劃分，將訓練模型調度至多個所述處理器中，優化器對模型的參數進行更新完成訓練過程。在推理過程中，也采用上述的資源調度和多維并行技術。通過在ai模型訓練和推理過程中引入多維并行處理，降低ai對計算資源的消耗，提升人工智能部署效率并最小化部署成本。

3、針對上述方案，存在如下技術問題：1、當前技術主要是在ai模型訓練和推理過程中引入多維并行處理，降低ai對計算資源的消耗，以提升人工智能部署效率并最小化部署成本，沒有考慮到當不同用戶端設備的硬件資源差異較大，進而無法支持多個硬件處理器對模型進行部署，也沒有考慮用戶端設備在工作過程中，根據設備的負載和資源變化情況對模型進行動態更新的問題，對上述層面的忽視會導致ai模型無法適應客戶端設備的資源限制，進而無法達到理想的處理速度和處理效果。

4、2、當前技術缺乏對在任務處理過程中，對用戶端設備運行狀態的實時監測，進而缺乏根據運行狀態實時監測情況對模型最優推理路徑的分析，上述層面的忽視導致ai模型無法根據設備的硬件資源和運行狀態進行自動調整，進而無法保證ai模型推理性能和工作效率最大化。

技術實現思路

1、本技術的目的在于提供的一種基于客戶端的ai模型動態優化以及自適應推理方法，解決了背景技術中存在的問題。

2、為解決上述技術問題，本技術采用如下技術方案：本技術提供一種基于客戶端的ai模型動態優化以及自適應推理方法，包括：步驟一、模型選擇：分析用戶端設備的硬件資源信息和運行環境信息，進而選擇ai模型部署至用戶端設備；

3、步驟二、模型及推理路徑優化：實時監測并分析用戶端設備的運行狀態信息，進而對ai模型進行優化，并分析得到一種自適應算法以選擇最優推理路徑。

4、步驟三、任務匹配：將用戶端設備的各已執行任務存儲至云端，當用戶端設備出現待執行任務時，將待執行任務與云端中的各已執行任務進行匹配，獲取待執行任務的匹配任務，進而直接調用匹配任務的ai模型和最優推理路徑對待執行任務進行處理。

5、優選地，所述用戶端設備的硬件資源信息包括用戶端設備的cpu資源可用量、gpu資源可用量、內存資源可用量和網絡狀態，運行環境信息包括用戶端設備的電池電量網絡帶寬。

6、優選地，基于ai模型的運行基礎信息分析各ai模型的資源需求評估系數，將各ai模型的資源需求評估系數與用戶端設備的可利用資源評估系數進行對比，進而得到各ai模型的資源需求評估系數與用戶端設備的可利用資源評估系數的比值，獲取比值小于1時對應的各ai模型，將其記為各可選擇ai模型，并從云端獲取各可選擇ai模型的推理準確率，將各可選擇ai模型的推理準確率按照從大到小的順序進行排列，并選擇推理準確率最大的ai模型部署至用戶端設備。

7、優選地，所述分析得到一種自適應算法，具體過程如下：a1、基于用戶端設備的硬件資源信息獲取用戶端設備的cpu資源量可用、gpu資源可用量、內存資源可用量和網絡狀態，基于各推理路徑基礎信息獲取各推理路徑的路徑編號、cpu資源占用量、gpu資源占用量、內存資源占用量和網絡依賴狀態。

8、a2、遍歷各推理路徑，當某推理路徑的cpu資源占用量、gpu資源占用量和內存資源占用量均小于或等于用戶端設備的cpu資源可用量、gpu資源可用量和內存資源占用量，且該推理路徑的網絡依賴狀態符合用戶端設備的網絡狀態時，將該推理路徑記為可用推理路徑。據此獲取用戶端設備中的所有可用推理路徑，記為各可用推理路徑；將各可用推理路徑中的cpu資源占用量、gpu資源占用量和內存資源占用量相加得到各可用路徑的資源占用總量。

9、a3、將各可用推理路徑的資源占用總量和推理準確率進行歸一化處理后分別記為和，其中為各可用推理路徑對應的編號，,為大于2的任意整數，根據計算公式：分析得到各可用推理路徑的優先選擇指數，其中和分別表示為推理路徑的資源占用總量對應的權重因子和推理準確率對應的權重因子。

10、優選地，所述選擇最優推理路徑，具體過程如下：將各可用推理路徑的優先選擇指數按照從大到小的順序進行排序，構建ai模型的可用推理路徑優先選擇表，并將優先選擇指數最大值對應的可用推理路徑記為最優推理路徑。

11、優選地，所述將待執行任務與云端中的各已執行任務進行匹配，獲取待執行任務的匹配任務，具體過程如下：從用戶端設備中獲取待執行任務的功能描述集合和資源需求類型集合；從云端中獲取各已執行任務的功能描述集合和資源需求類型集合，其中為各已執行任務對應的編號，,為大于2的任意整數，根據計算公式：分析得到待執行任務與各已執行任務的適配度，其中和分別表示為用戶端設備執行任務時的功能匹配對應的權重因子和資源需求類型匹配對應的權重因子。

12、將得到的待執行任務與各已執行任務的適配度與設定的任務適配度閾值進行對比，當待執行任務與某已執行任務的適配度大于或等于設定的任務適配度閾值時，判斷待執行任務與該已執行任務匹配成功，反之則判斷待執行任務與該已執行任務匹配不成功，據此獲取與待執行任務匹配成功的各已執行任務，并將與待執行任務適配度最高的已執行任務記為待執行任務的匹配任務。

13、本技術的有益效果在于：1、本技術提供的一種基于客戶端的ai模型動態優化以及自適應推理方法，通過對用戶端設備的硬件資源和運行環境進行分析，進而選擇合適的ai模型部署至用戶端設備，再對用戶端設備的運行狀態信息進行實時監測，從而對ai模型進行動態優化調整以達到高效推理的目的，同時根據用戶端設備的硬件資源信息、各推理路徑的資源占用量和推理準確率，分析得到一種自適應算法，根據該自適應算法，可實現用戶端設備實時調整最優推理路徑，進而保證在有限的資源條件下實現最佳的推理性能和效率，最后將各已處理任務及其對應的ai模型和最優推理路徑存儲至云端以便于后續直接調用。

14、2、本技術通過對用戶端設備的硬件資源信息和運行環境信息進行分析，為后續ai模型的選擇奠定了基礎，且不同用戶端設備的硬件資源差異較大，會導致不同客戶端設備上運行ai模型的速度和效果差異較大，因此對用戶端設備的硬件資源信息和運行環境信息進行分析，可以選擇合適的ai模型部署至用戶端設備，進而保證ai模型的運行速度和效果。

15、3、本技術通過對ai模型部署完成后用戶端設備的運行狀態信息進行監測和分析，進而對ai模型進行優化，從而根據用戶端設備的運行狀態信息實時調整ai模型的計算量和復雜度，確保在硬件資源較強的用戶端設備上運行高精度的大模型，在資源受限的用戶端設備上切換至輕量模型以保證推理的高效性，也極大程度上提高了用戶端設備ai模型部署的靈活性。

16、4、本技術通過對用戶端設備的硬件資源、各推理路徑的資源需求量和推理準確率進行分析，進而選擇最優推理路徑，并根據用戶端設備硬件資源的變化實時調整最優推理路徑，以保證ai模型推理過程中的高效性與穩定性。

17、5、本技術通過將用戶端設備的各已執行任務保存至云端，并在用戶端設備接收到新的未執行任務時，將未執行任務與已執行任務進行匹配，獲取未執行任務的匹配任務，進而直接調用匹配任務的ai模型和最優推理路徑對待執行任務進行處理，極大程度上減少了用戶端設備的工作量和不必要分析帶來的資源浪費，進而保證了該方法的完善性和靈活性。