本發明主要涉及無線通信,尤其是涉及一種基于5g?cpe和wifi的異質算力融合方法及裝置。
背景技術:
1、在現代家庭環境中,隨著智能設備的普及和聯網需求的增加,家庭網絡和算力資源的管理變得愈發復雜。5g?cpe和wifi網絡成為家庭中常見的兩種網絡連接方式,二者各自具備不同的覆蓋特點和性能優勢。5g?cpe具有更高的帶寬和更低的延遲,而wifi則在穩定性和覆蓋范圍上表現較好。隨著用戶在家庭中移動,網絡延遲及穩定連接問題成為影響用戶體驗的重要因素;此外,家庭中的計算平臺呈現異質化,無論是芯片架構還是處理單元,設備之間的兼容性較低。邊端設備通常算力較弱,無法獨立高效地進行復雜模型的推理。缺乏統一的資源調度和算力整合機制,導致邊端設備在處理高計算需求的任務時,無法充分利用家庭服務器等固定設備的高算力。
技術實現思路
1、本發明所要解決的技術問題是:提供一種基于5g?cpe和wifi的異質算力融合方法及裝置,解決5g?cpe和wifi混合網絡缺乏合理的算力調度機制,導致高算力需求任務處理效率低下的問題。
2、本發明解決上述技術問題所采用的技術方案是:
3、?基于5g?cpe和wifi的異質算力融合方法,應用于包括服務器的5g?cpe和wifi混合網絡的通信系統,所述方法包括:
4、在5g?cpe和wifi混合網絡中設置多個節點設備,在服務器和每個節點設備上分別設置大語言模型;
5、節點設備上的大語言模型判斷輸入節點設備的待處理任務是否需要調度服務器的算力,若需要,則分別評估服務器和節點設備的剩余算力,按剩余算力的比例向節點設備和服務器分配待處理任務;
6、將向服務器分配的待處理任務轉換為服務器能夠識別的格式,根據5g?cpe和wifi網絡的信號狀態選擇任務傳輸網絡,基于選擇的任務傳輸網絡將向服務器分配的待處理任務傳輸給服務器,服務器和節點設備上的大語言模型分別對分配的待處理任務進行處理,服務器將任務處理結果返回給節點設備,節點設備將服務器返回的任務處理結果與自身的任務處理結果進行整合后傳輸給用戶。
7、進一步的,所述節點設備上的大語言模型判斷輸入節點設備的待處理任務是否需要調度服務器的算力的具體方法為:節點設備上的大語言模型根據輸入節點設備的待處理任務的處理時延要求判斷是否需要調度服務器的算力,若待處理任務的處理時延要求大于等于設定值,則節點設備上的大語言模型使用節點設備的本地算力對待處理任務進行處理,不調度服務器的算力;若待處理任務的任務處理時延要求小于設定值,則分別評估服務器和節點設備的剩余算力,按剩余算力的比例向節點設備和服務器分配待處理任務。
8、進一步的,所述根據5g?cpe和wifi網絡的信號狀態選擇任務傳輸網絡具體包括:計算節點設備周圍設定區域內5g?cpe和wifi信號強度的均方根和標準差,基于均方根評估5g?cpe和wifi的平均信號強度,基于標準差評估5g?cpe和wifi的信號穩定性,若5g?cpe的平均信號強度和信號穩定性均優于wifi,則選擇5g?cpe將向服務器分配的待處理任務傳輸給服務器;否則,選擇wifi將向服務器分配的待處理任務傳輸給服務器。
9、進一步的,服務器的剩余算力評估方法具體包括:對服務器的每秒浮點運算次數、內存帶寬、吞吐量和cpu/gpu頻率賦予設定的權重,將服務器的每秒浮點運算次數、內存帶寬、吞吐量和cpu/gpu頻率進行min-max標準化處理,并將標準化后的值按照賦予的權重進行加權計算,將加權計算的結果作為服務器的剩余算力。
10、進一步的,節點設備的剩余算力評估方法具體包括:對節點設備的功耗、延遲、每秒浮點運算次數和帶寬賦予設定的權重,將節點設備的功耗、延遲和每秒浮點運算次數和帶寬進行min-max標準化處理,并將標準化后的值按照賦予的權重進行加權計算,將加權計算的結果作為節點設備的剩余算力。
11、進一步的,節點設備上的大語言模型判斷輸入節點設備的待處理任務是否需要調度算力之前,節點設備上的大語言模型對待處理任務進行預處理,所述預處理具體包括:
12、對圖像數據的原始像素值進行標準化,通過圖像編碼將標準化后的圖像數據轉換為向量數據;
13、對語音數據進行信號采樣與量化后,進行歸一化和特征提取,將語音數據轉換為向量數據;
14、對文本數據進行分詞和去停用詞處理,并通過詞嵌入將文本數據轉換為向量數據。
15、進一步的,所述大語言模型包括多層由多頭注意力模塊和多層感知機模塊構成的前饋神經網絡。
16、進一步的,在節點設備和服務器上分別設置大語言模型之前還包括:對大語言模型進行訓練,對訓練完成的大語言模型進行蒸餾和剪枝處理后設置到節點設備和服務器上。
17、進一步的,大語言模型對待處理任務進行處理時,若待處理任務的隱私要求高于設定標準,則選擇聯邦式學習對待處理任務進行處理,否則,選擇分布式學習對待處理任務進行處理。
18、另一方面,本發明還提供一種基于5g?cpe和wifi的異質算力融合裝置,所述裝置包括5g?cpe,wifi組件,多個節點設備、數據轉換模塊和服務器;
19、所述5g?cpe和wifi組件用于建立5g?cpe和wifi混合網絡,節點設備和服務器上設置有大語言模型,多個節點設備分別接入5g?cpe和wifi混合網絡,節點設備上的大語言模型判斷輸入節點設備的待處理任務是否需要調度服務器算力,若需要,則分別評估服務器和節點設備的剩余算力,按剩余算力的比例向節點設備和服務器分配待處理任務量;
20、所述數據轉換模塊用于將分配給服務器的待處理任務轉換為服務器能夠存儲和解析的格式,并根據5g?cpe和wifi的信號狀態選擇任務傳輸網絡,并基于選擇的任務傳輸網絡將向服務器分配的待處理任務傳輸給服務器;
21、服務器和節點設備上的大語言模型分別對分配的待處理任務進行處理,服務器將任務處理結果返回給節點設備,節點設備上的大語言模型將服務器返回的任務處理結果與自身的任務處理結果進行整合后傳輸給用戶。
22、本發明的有益效果是:
23、(1)本發明在5g?cpe和wifi混合網絡中布置多個節點設備,在每個節點設備及服務器上分別設置大語言模型,節點設備上的大語言模型判斷輸入節點設備的待處理任務是否需要調度節點設備和服務器的算力,若需要,則分別評估服務器和節點設備的剩余算力,按比例向節點設備和服務器分配待處理任務,根據5g?cpe和wifi網絡的信號狀態選擇任務傳輸信號網絡,基于選擇的任務傳輸信號網絡將向服務器分配的待處理任務傳輸給服務器,服務器和節點設備上的大語言模型分別對分配的待處理任務進行處理,服務器將任務處理結果返回給節點設備,節點設備將服務器返回的任務處理結果與自身的任務處理結果進行整合后傳輸給用戶,通過對節點設備和服務器的異質算力進行高效融合,使節點設備可以根據推理任務的時效性需求,動態調度家庭服務器的算力協助,提升任務處理的效率和響應速度。
24、(2)本發明根據5g?cpe和wifi網絡的信號狀態選擇任務傳輸信號網絡,基于選擇的任務傳輸信號網絡將向服務器分配的待處理任務傳輸給服務器,借助5g?cpe和wifi混合網絡,根據用戶所在位置的網絡信號狀態智能選擇最優網絡,能夠有效保證服務器和節點設備進行待處理任務的時效性和數據傳輸成功率。