本技術涉及人工智能和光通信，尤其涉及一種基于模型的數據處理方法、裝置、設備、系統及介質。

背景技術：

1、隨著人工智能（artificial?intelligence，ai）技術的飛速發展，大模型在自然語言處理、計算機視覺處理等方面均有著良好的表現，如大型語言模型（large?languagemodels，llm）。其中，大模型是指具有數百億甚至數千億模型參數的深度學習模型。

2、目前，大模型可以部署在終端上，以使得終端基于大模型執行數據處理，或者，大模型也可以部署在云端上，以使得云端基于大模型執行數據處理。

3、然而，在終端基于大模型執行數據處理的方案中，由于大模型需要高性能算力/內存資源的支持，而終端所提供的算力/內存資源有限，難以支持基于大模型的數據處理。在云端基于大模型執行數據處理的方案中，由于數據需要在提供云服務的網絡中進行傳輸，難以保障傳輸的數據的安全性。

技術實現思路

1、本技術提供了一種基于模型的數據處理方法、裝置、設備、系統及介質，用于在兼顧高算力和高安全性的前提下，提供一種基于模型的數據處理方法。

2、為達到上述目的，本技術提供如下技術方案。

3、第一方面，提供了一種基于模型的數據處理方法，該方法可以由第一設備執行，也可以由第一設備的部件，例如第一設備的處理器、芯片、或芯片系統等執行，還可以由能實現全部或部分第一設備功能的邏輯模塊或軟件實現。

4、其中，第一設備為與終端連接的網絡設備。本技術中，第一設備是指端側設備，即部署在靠近終端側的網絡設備。該方法包括如下內容。

5、第一設備接收終端發送的數據處理請求。

6、其中，數據處理請求用于請求對目標數據進行處理。本技術中，目標數據用于指代待處理數據。

7、第一設備向第二設備發送目標數據。

8、其中，第二設備為與云端連接的網絡設備。本技術中，第二設備是指邊側設備，即部署在網絡邊緣的網絡設備。本技術中，第二設備存儲有數據處理模型，如llm。

9、第一設備接收第二設備發送的第一數據處理結果。

10、其中，第一數據處理結果為數據處理模型對目標數據進行第一處理得到的結果?？衫斫獾氖?，第二設備可利用存儲的數據處理模型，對目標數據進行第一處理，以獲得第一數據處理結果。

11、第一設備基于數據處理模型，對第一數據處理結果進行第二處理，得到第二數據處理結果。

12、其中，第二數據處理結果為目標數據的處理結果。

13、第一設備向終端發送第二數據處理結果。

14、在上述技術方案中，提供了一種結合第一設備和第二設備來執行基于模型的數據處理方案，也即是提供了一種端側設備和邊側設備協同（如稱為端邊協同）的模型推理方案。其中，通過將基于數據處理模型的第一處理部署在邊側設備進行，將基于數據處理模型的第二處理部署在端側設備進行，實現了模型推理服務的分離部署。一方面，考慮到邊側設備通常部署有強大的硬件，能夠提供較強的計算/內存能力，因而將數據處理模型部署在邊側設備上，能夠為數據處理模型的第一處理提供足夠的算力/內存資源，而端側設備只需執行對第一數據處理結果的第二處理，也就減輕了端側設備的算力/內存壓力。另一方面，針對端側設備的第二處理，由于是在端側設備的本地進行，使得數據無需在網絡中傳輸，安全性較高。針對邊側設備的第一處理，由于邊側設備作為位于網絡邊緣的網絡設備，相比較云端距離終端更近，因而能夠減少數據在網絡中的傳輸，從而有效提升數據的安全性。

15、在一些可能的實施方式中，第一處理為填充（prefill）計算，第二處理為解碼（decode）計算。本技術中，第一處理的算力/內存需求大于第二處理的算力/內存需求?？衫斫獾氖?，在另一些可能的實施方式中，第一處理和第二處理還可以為其他類型的計算，如第一處理為數據處理模型的一部分網絡層的計算。第二處理為數據處理模型的另一部分網絡層的計算，本技術對此不作限定。

16、在上述實施方式中，提供了一種prefill計算和decode計算的分離部署架構，能夠提升數據處理的總體吞吐量。其中，通過將算力/內存需求較大的prefill計算部署在邊側設備這一提供高算力/內存的上層設備進行，能夠有效利用邊側設備的算力/內存資源，從而提升prefill計算的效率。通過將算力/內存需求較小的decode計算部署在端側設備這一提供低算力/內存的下層設備進行，能夠減輕端側設備的算力/內存壓力，從而降低端側設備的算力/內存成本。

17、在一些可能的實施方式中，第二處理包括至少一次第三處理。其中，每一次第三處理包括如下過程。

18、第一設備獲取目標模型參數。

19、其中，目標模型參數為數據處理模型的用于執行本次第三處理的模型參數，如模型權重。

20、第一設備基于目標模型參數，對待處理數據進行本次第三處理。

21、其中，第一次第三處理的待處理數據為第一數據處理結果，其他第三處理的待處理數據為上一次第三處理得到的數據處理結果。最后一次第三處理得到的數據處理結果為第二數據處理結果。

22、在上述實施方式中，提供了一種分批次來獲取目標模型參數的方式，使得第一設備在每一次第三處理的過程中待處理的數據量較少，減少了第一設備的算力/內存壓力，從而提升了第一設備的處理效率。

23、在一些可能的實施方式中，第一設備存儲有數據處理模型的部分模型參數。

24、第一設備獲取目標模型參數，包括：在第一設備存儲有目標模型參數的情況下，獲取存儲的目標模型參數?；颍诘谝辉O備未存儲有目標模型參數的情況下，向第二設備發送第一請求。其中，第一請求用于請求獲取目標模型參數。第一設備接收第二設備發送的目標模型參數。

25、在上述實施方式中，一方面，第一設備通過分批次向第二設備請求部分模型參數，使得第一設備在每一次第三處理的過程中待處理的數據量較少，減少了第一設備的算力/內存壓力，從而提升了第一設備的處理效率。另一方面，通過在第一設備中存儲數據處理模型的部分模型參數，減少了第一設備向第二設備請求模型參數的數據量，從而節省了網絡帶寬的消耗。

26、在一些可能的實施方式中，第一請求攜帶第一設備的性能參數。其中，性能參數用于指示第一設備的算力能力和/或內存能力。目標模型參數包括：數據處理模型的與性能參數匹配的目標層數的目標模型參數。其中，目標層數為與性能參數匹配的層數。可理解的是，性能參數所指示的算力能力和/或內存能力越高，則目標層數越多，性能參數所指示的算力能力和/或內存能力越低，則目標層數越少。

27、在上述實施方式中，通過在第一請求中攜帶第一設備的性能參數，能夠使得第二設備根據第一設備的算力能力和/或內存能力適應性地下發對應層數的模型參數，如1層或2層，提升了模型參數下發的靈活性。

28、在一些可能的實施方式中，第一設備接收第二設備發送的目標模型參數，包括：

29、第一設備接收第二設備的廣播信息。其中，廣播信息包括目標模型參數。

30、在上述實施例中，通過廣播下發的方式來傳輸目標模型參數，使得第二設備在面向多個第一設備時，只需發送一次目標模型參數，極大地減少了網絡帶寬的消耗。

31、在一些可能的實施方式中，第一設備在接收終端發送的數據處理請求之前，該方法還包括：第一設備接收第二設備發送的數據處理模型的所有模型參數，或數據處理模型的部分模型參數。第一設備存儲數據處理模型的部分模型參數。

32、在一些可能的實施方式中，第一設備在接收終端發送的數據處理請求之后，該方法還包括：第一設備向第二設備發送查詢請求。其中，查詢請求用于請求查詢目標版本的數據處理模型的模型參數。其中，目標版本的數據處理模型可以是最新版本的數據處理模型。第一設備接收第二設備發送的目標版本的數據處理模型的模型參數。第一設備基于目標版本的數據處理模型的模型參數，對存儲的模型參數進行更新。

33、在上述實施例中，通過查詢最新版本的模型，以供第一設備對本地存儲的部分模型參數進行更新。

34、在一些可能的實施方式中，第一設備基于數據處理模型，對第一數據處理結果進行第二處理，得到第二數據處理結果，包括：第一設備向第二設備發送第二請求。其中，第二請求用于請求獲取數據處理模型的用于執行第二處理的模型參數。第一設備接收第二設備發送的模型參數。第一設備基于模型參數，對第一數據處理結果進行第二處理，以獲得第二數據處理結果。

35、在上述實施例中，提供了一種一次性下發所有模型參數的方案，如在第一設備的算力/內存充足的情況，可以向第二設備請求下發所有模型參數。

36、在一些可能的實施方式中，數據處理請求中攜帶目標數據。

37、或，在另一些可能的實施方式中，數據處理請求攜帶目標數據的數據標識。該方法還包括：從第一設備關聯的數據集合中獲取數據標識對應的數據作為目標數據。

38、在上述實施方式中，提供了兩種獲取目標數據的方案，均能夠快速高效地獲取目標數據，從而順利完成后續數據處理的流程。

39、在一些可能的實施方式中，在第一設備向第二設備發送目標數據之前，該方法還包括：

40、第一設備對目標數據進行加密。

41、在上述實施方式中，通過對目標數據進行加密的方式，能夠確保目標數據在由第一設備傳輸至第二設備的過程中的安全性。

42、在一些可能的實施方式中，第一設備為光網絡單元（optical?network?unit，onu）設備或主光纖到房間（main?fiber?to?the?room?unit，mfu）設備，第二設備為光線路終端（optical?line?termination，olt）設備。

43、或，在另一些可能的實施方式中，第一設備為基于光傳送網絡（opticaltransport?network，otn）專線的網絡中的客戶終端（customer?premise?equipment，cpe）設備，第二設備為基于otn專線的網絡中的邊緣云設備。

44、第二方面，提供了一種基于模型的數據處理方法，該方法可以由第二設備執行，也可以由第二設備的部件，例如第二設備的處理器、芯片、或芯片系統等執行，還可以由能實現全部或部分第二設備功能的邏輯模塊或軟件實現。

45、其中，第二設備存儲有數據處理模型，如llm。

46、該方法包括：

47、第二設備接收第一設備發送的目標數據。第二設備基于數據處理模型對目標數據進行第一處理，得到第一數據處理結果。第二設備向第一設備發送第一數據處理結果。其中，第一數據處理結果用于基于數據處理模型進行第二處理以獲得第二數據處理結果。第二數據處理結果為目標數據的處理結果。

48、在上述技術方案中，提供了一種結合第一設備和第二設備來執行基于模型的數據處理方案，也即是提供了一種端側設備和邊側設備協同（如稱為端邊協同）的模型推理方案。其中，通過將基于數據處理模型的第一處理部署在邊側設備進行，將基于數據處理模型的第二處理部署在端側設備進行，實現了模型推理服務的分離部署。一方面，考慮到邊側設備通常部署有強大的硬件，能夠提供較強的計算/內存能力，因而將數據處理模型部署在邊側設備上，能夠為數據處理模型的第一處理提供足夠的算力/內存資源，而端側設備只需執行對第一數據處理結果的第二處理，也就減輕了端側設備的算力/內存壓力。另一方面，針對端側設備的第二處理，由于是在端側設備的本地進行，使得數據無需在網絡中傳輸，安全性較高。針對邊側設備的第一處理，由于邊側設備作為位于網絡邊緣的網絡設備，相比較云端距離終端更近，因而能夠減少數據在網絡中的傳輸，從而有效提升數據的安全性。

49、在一些可能的實施方式中，第二處理包括至少一次第三處理。在每一次第三處理的過程中，該方法還包括：第二設備接收第一設備發送的第一請求。其中，第一請求用于請求獲取數據處理模型的目標模型參數，目標模型參數為數據處理模型的用于執行本次第三處理的模型參數。第二設備基于第一請求，向第一設備發送目標模型參數。

50、在上述實施方式中，提供了一種分批次來獲取目標模型參數的方式，使得第一設備在每一次第三處理的過程中待處理的數據量較少，減少了第一設備的算力/內存壓力，從而提升了第一設備的處理效率。

51、在一些可能的實施方式中，第一請求攜帶第一設備的性能參數。性能參數用于指示第一設備的算力能力和/或內存能力。目標模型參數包括：數據處理模型的與性能參數匹配的目標層數的目標模型參數。

52、在上述實施方式中，通過在第一請求中攜帶第一設備的性能參數，能夠使得第二設備根據第一設備的算力能力和/或內存能力適應性地下發對應層數的模型參數，如1層或2層，提升了模型參數下發的靈活性。

53、在一些可能的實施方式中，第二設備向第一設備發送目標模型參數，包括：

54、第二設備發送廣播信息，廣播信息包括目標模型參數。

55、在上述實施例中，通過廣播下發的方式來傳輸目標模型參數，使得第二設備在面向多個第一設備時，只需發送一次目標模型數據，極大地減少了網絡帶寬的消耗。

56、在一些可能的實施方式中，第一設備存儲有數據處理模型的部分模型參數；在接收第一設備發送的目標數據之前，該方法還包括：

57、第二設備向第一設備發送數據處理模型的所有模型參數，或數據處理模型的部分模型參數。

58、在上述實施方式中，通過在第一設備中存儲數據處理模型的部分模型參數，減少了第一設備向第二設備請求模型參數的數據量，從而節省了網絡帶寬的消耗。

59、在一些可能的實施方式中，在向第一設備發送數據處理模型的所有模型參數，或數據處理模型的部分模型參數之前，該方法還包括：

60、第二設備接收云端發送的模型更新信息。其中，模型更新信息包括更新后的數據處理模型的模型參數。也就是說，第二設備可以在模型更新的時機，向第一設備下發數據處理模型的所有模型參數或部分模型參數。

61、或，第二設備接收第一設備發送的參數請求。其中，參數請求用于請求獲取數據處理模型的模型參數。也就是說，第一設備可以主動向第二設備請求數據處理模型的所有模型參數或部分模型參數。

62、在一些可能的實施方式中，第二設備接收第一設備發送的目標數據之前，該方法還包括：

63、第二設備接收第一設備發送的查詢請求。其中，查詢請求用于請求查詢目標版本的數據處理模型的模型參數。第二設備基于查詢請求，向第一設備發送目標版本的數據處理模型的模型參數。

64、在上述實施方式中，通過查詢最新版本的模型，以供第一設備對本地存儲的部分模型參數進行更新。

65、在一些可能的實施方式中，在第二設備向第一設備發送第一數據處理結果之后，該方法還包括：

66、第二設備接收第一設備發送的第二請求。其中，第二請求用于請求獲取數據處理模型的用于執行第二處理的模型參數。第二設備向第一設備發送模型參數。

67、在上述實施例中，提供了一種一次性下發所有模型參數的方案，如在第一設備的算力/內存充足的情況，可以向第二設備請求下發所有模型參數。

68、在一些可能的實施方式中，在第二設備接收第一設備發送的目標數據之后，該方法還包括：

69、第二設備對目標數據進行解密。

70、在上述實施方式中，通過對目標數據進行加密的方式，能夠確保目標數據在由第一設備傳輸至第二設備的過程中的安全性。

71、在一些可能的實施方式中，第一處理為prefill計算，第二處理為decode計算。

72、在一些可能的實施方式中，第一設備為onu設備或mfu設備，第二設備為olt設備；或，第一設備為基于otn專線的網絡中的cpe設備，第二設備為基于otn專線的網絡中的邊緣云設備。

73、第三方面，提供了一種基于模型的數據處理裝置用于實現上述第一方面提供的任意一種方法。該基于模型的數據處理裝置包括實現上述方法相應的模塊、單元或手段（means），該模塊、單元或means所執行的動作可以通過硬件實現、軟件實現或通過硬件執行相應的軟件實現。其中，該硬件或軟件包括一個或多個與上述功能相對應的模塊或單元。

74、在一種可能的實施方式中，該裝置可以包括接收模塊、發送模塊和處理模塊；其中：

75、接收模塊，用于接收終端發送的數據處理請求，數據處理請求用于請求對目標數據進行處理；

76、發送模塊，用于向第二設備發送目標數據，第二設備為與云端連接的網絡設備，第二設備存儲有數據處理模型；

77、接收模塊，還用于接收第二設備發送的第一數據處理結果，第一數據處理結果為數據處理模型對目標數據進行第一處理得到的結果；

78、處理模塊，用于基于數據處理模型，對第一數據處理結果進行第二處理，得到第二數據處理結果，第二數據處理結果為目標數據的處理結果；

79、發送模塊，還用于向終端發送第二數據處理結果。

80、第四方面，提供了一種基于模型的數據處理裝置用于實現上述第二方面提供的任意一種方法。該基于模型的數據處理裝置包括實現上述方法相應的模塊、單元或手段（means），該模塊、單元或means所執行的動作可以通過硬件實現、軟件實現或通過硬件執行相應的軟件實現。其中，該硬件或軟件包括一個或多個與上述功能相對應的模塊或單元。

81、在一種可能的實施方式中，該裝置可以包括接收模塊、處理模塊和發送模塊；其中：

82、接收模塊，用于接收第一設備發送的目標數據，第一設備為與終端連接的網絡設備；

83、處理模塊，用于基于數據處理模型對目標數據進行第一處理，得到第一數據處理結果；

84、發送模塊，用于向第一設備發送第一數據處理結果，第一數據處理結果用于基于數據處理模型進行第二處理以獲得第二數據處理結果，第二數據處理結果為目標數據的處理結果。

85、第五方面，提供了一種第一設備，包括：存儲器和處理器，存儲器和處理器連接；存儲器用于存儲計算機執行指令；處理器用于調用計算機執行指令，從而實現上述第一方面或其任一實現方式的方法。

86、其中，上述第五方面的第一設備可以為：上述第一方面中任一實現方式中的第一設備，或者包含上述第一設備的裝置，或者上述第一設備中包含的裝置，比如芯片。

87、第六方面，提供了一種第二設備，包括：存儲器和處理器，存儲器和處理器連接；存儲器用于存儲計算機執行指令；處理器用于調用計算機執行指令，從而實現上述第二方面或其任一實現方式的方法。

88、其中，上述第六方面的第二設備可以為：上述第二方面中任一實現方式中的第二設備，或者包含上述第二設備的裝置，或者上述第二設備中包含的裝置，比如芯片。

89、第七方面，提供了一種數據處理系統，包括如上述第五方面所示的第一設備和上述第六方面所示的第二設備。

90、第八方面，提供了一種芯片，該芯片包括：處理器和接口電路；接口電路，用于接收計算機執行指令并傳輸至處理器；處理器，用于運行計算機執行指令以執行上述第一方面、第二方面或其任一實現方式的方法。

91、其中，當芯片部署在第一設備上時，處理器用于運行計算機執行指令以執行上述第一方面或其任一實現方式的方法。當芯片部署在第二設備上時，處理器用于運行計算機執行指令以執行上述第二方面或其任一實現方式的方法。

92、第九方面，提供了一種計算機可讀存儲介質，包括計算機執行指令，當計算機執行指令在第一設備上運行時，使得第一設備執行上述第一方面或其任一實現方式的方法，當計算機執行指令在第二設備上運行時，使得第二設備執行上述第二方面或其任一實現方式的方法。

93、第十方面，提供了一種計算機程序產品，包括計算機執行指令，當計算機執行指令在第一設備上運行時，使得第一設備執行上述第一方面或其任一實現方式的方法，當計算機執行指令在第二設備上運行時，使得第二設備執行上述第二方面或其任一實現方式的方法。

94、其中，第三方面至第十方面中的任一種實現方式所帶來的技術效果可參見第一方面或第二方面中對應實現方式所帶來的技術效果，此處不再贅述。

95、上述各個方面中的任意一個方面的各種可能的實現方式，在方案不矛盾的前提下，均可以進行組合。