本公開(kāi)實(shí)施例涉及自然語(yǔ)言處理，具體而言，涉及一種數(shù)據(jù)資源的生成方法、數(shù)據(jù)資源的生成裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、在一些相關(guān)的技術(shù)方案中，可以將大模型推理分為prefill和decoding兩個(gè)階段，以實(shí)現(xiàn)大模型分布式的高速推理。但是，該無(wú)法根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行有針對(duì)性的策略分流，進(jìn)而使得數(shù)據(jù)資源的生成效率較低。

2、需要說(shuō)明的是，在上述背景技術(shù)部分發(fā)明的信息僅用于加強(qiáng)對(duì)本公開(kāi)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)的目的在于提供一種數(shù)據(jù)資源的生成方法、數(shù)據(jù)資源的生成裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備，進(jìn)而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的數(shù)據(jù)資源的生成效率較低的問(wèn)題。

2、根據(jù)本公開(kāi)的一個(gè)方面，提供一種數(shù)據(jù)資源的生成方法，包括：

3、接收用戶終端上報(bào)的數(shù)據(jù)資源生成請(qǐng)求，并基于預(yù)設(shè)的業(yè)務(wù)門控網(wǎng)絡(luò)模型為所述數(shù)據(jù)資源生成請(qǐng)求匹配目標(biāo)投機(jī)采樣模型；

4、基于所述目標(biāo)投機(jī)采樣模型對(duì)所述數(shù)據(jù)資源生成請(qǐng)求進(jìn)行投機(jī)采樣處理，得到投機(jī)采樣結(jié)果；

5、構(gòu)建與所述數(shù)據(jù)資源生成請(qǐng)求對(duì)應(yīng)的鍵值存儲(chǔ)結(jié)果，并將所述鍵值存儲(chǔ)結(jié)果以及投機(jī)采樣結(jié)果推送至云服務(wù)器；

6、接收所述云服務(wù)器根據(jù)所述鍵值存儲(chǔ)結(jié)果對(duì)所述投機(jī)采樣結(jié)果進(jìn)行驗(yàn)證后得到的目標(biāo)數(shù)據(jù)資源，并將所述目標(biāo)數(shù)據(jù)資源反饋至所述用戶終端。

7、在本公開(kāi)的一種示例性實(shí)施例中，所述預(yù)設(shè)的業(yè)務(wù)門控網(wǎng)絡(luò)模型包括嵌入映射層、編碼層以及業(yè)務(wù)門控網(wǎng)絡(luò)層；

8、其中，基于預(yù)設(shè)的業(yè)務(wù)門控網(wǎng)絡(luò)模型為所述數(shù)據(jù)資源生成請(qǐng)求匹配目標(biāo)投機(jī)采樣模型，包括：

9、對(duì)所述數(shù)據(jù)資源生成請(qǐng)求進(jìn)行解析，得到業(yè)務(wù)請(qǐng)求標(biāo)識(shí)、業(yè)務(wù)請(qǐng)求類型、執(zhí)行數(shù)據(jù)資源生成任務(wù)所需要的任務(wù)計(jì)算資源以及待處理文本；

10、根據(jù)所述業(yè)務(wù)請(qǐng)求標(biāo)識(shí)、業(yè)務(wù)請(qǐng)求信息以及任務(wù)計(jì)算資源生成任務(wù)基礎(chǔ)信息，并根據(jù)所述待處理文本生成任務(wù)上下文信息；

11、基于所述嵌入映射層對(duì)所述任務(wù)基礎(chǔ)信息進(jìn)行詞嵌入處理，得到第一任務(wù)特征，并基于所述嵌入映射層對(duì)所述任務(wù)上下文信息進(jìn)行嵌入映射處理，得到上下文標(biāo)志序列；

12、基于所述編碼層對(duì)所述第一任務(wù)特征以及上下文標(biāo)志序列進(jìn)行編碼處理，得到上下文整體表征，并基于所述業(yè)務(wù)門控網(wǎng)絡(luò)層對(duì)所述上下文整體表征進(jìn)行預(yù)測(cè)，得到所述目標(biāo)投機(jī)采樣模型。

13、在本公開(kāi)的一種示例性實(shí)施例中，所述業(yè)務(wù)門控網(wǎng)絡(luò)層包括門控網(wǎng)絡(luò)模型以及候選投機(jī)采樣模型；

14、其中，基于所述業(yè)務(wù)門控網(wǎng)絡(luò)層對(duì)所述上下文整體表征進(jìn)行預(yù)測(cè)，得到所述目標(biāo)投機(jī)采樣模型，包括：

15、基于所述門控網(wǎng)絡(luò)模型根據(jù)所述上下文整體表征，確定所述候選投機(jī)采樣模型在執(zhí)行數(shù)據(jù)資源生成任務(wù)時(shí)的第一模型權(quán)重，并基于第一模型權(quán)重從所述候選投機(jī)采樣模型中確定目標(biāo)投機(jī)采樣模型。

16、在本公開(kāi)的一種示例性實(shí)施例中，所述目標(biāo)投機(jī)采樣模型包括第一嵌入映射層、位置編碼模塊、特征編碼模塊、特征解碼模塊、線性變換層以及softmax層；

17、其中，基于所述目標(biāo)投機(jī)采樣模型對(duì)所述數(shù)據(jù)資源生成請(qǐng)求進(jìn)行投機(jī)采樣處理，得到投機(jī)采樣結(jié)果，包括：

18、基于第一嵌入映射層對(duì)所述數(shù)據(jù)資源生成請(qǐng)求的任務(wù)上下文信息進(jìn)行嵌入映射處理，得到第一詞向量，并基于所述位置編碼模塊對(duì)所述任務(wù)上下文信息進(jìn)行編碼處理，得到第一位置向量；

19、對(duì)所述第一詞向量以及第一位置向量進(jìn)行疊加，得到第一輸入向量，并基于特征編碼模塊對(duì)第一輸入向量進(jìn)行編碼處理，得到第一編碼結(jié)果；

20、基于特征解碼模塊對(duì)所述第一編碼結(jié)果進(jìn)行解碼處理，得到第一編碼矩陣，并基于線性變換層對(duì)第一編碼矩陣進(jìn)行轉(zhuǎn)換，得到第一邏輯矩陣；

21、基于所述softmax層對(duì)所述第一邏輯矩陣進(jìn)行映射處理，得到與第一待比對(duì)音頻數(shù)據(jù)對(duì)應(yīng)的投機(jī)采樣結(jié)果。

22、在本公開(kāi)的一種示例性實(shí)施例中，所述特征編碼模塊包括第一多頭自注意力模塊、第一殘差連接和歸一化模塊、第一前饋神經(jīng)網(wǎng)絡(luò)、第二殘差連接和歸一化模塊；

23、其中，基于特征編碼模塊對(duì)第一輸入向量進(jìn)行編碼處理，得到第一編碼結(jié)果，包括：

24、基于第一多頭自注意力模塊計(jì)算所述第一輸入向量的第一注意力機(jī)制，并基于第一殘差連接和歸一化模塊對(duì)所述第一注意力機(jī)制進(jìn)行殘差連接以及歸一化處理，得到第一歸一化處理結(jié)果；

25、基于第一前饋神經(jīng)網(wǎng)絡(luò)對(duì)第一歸一化處理結(jié)果進(jìn)行線性化處理，得到第一線性化處理結(jié)果，并基于第二殘差連接和歸一化模塊對(duì)第一線性化處理結(jié)果進(jìn)行殘差連接以及歸一化處理，得到第一編碼結(jié)果。

26、在本公開(kāi)的一種示例性實(shí)施例中，基于第一多頭自注意力模塊計(jì)算所述第一輸入向量的第一注意力機(jī)制，包括：

27、對(duì)所述第一輸入向量進(jìn)行線性融合，得到第一查詢向量、第一鍵向量以及第一值向量，并計(jì)算所述第一查詢向量以及第一鍵向量的第一外積向量，得到所述第一查詢向量以及第一鍵向量之間的第一相似度；

28、對(duì)所述第一相似度進(jìn)行歸一化處理，得到第一權(quán)重矩陣，并計(jì)算所述第一權(quán)重矩陣與所述第一值向量的第二外積向量，得到所述第一注意力機(jī)制。

29、在本公開(kāi)的一種示例性實(shí)施例中，構(gòu)建與所述數(shù)據(jù)資源生成請(qǐng)求對(duì)應(yīng)的鍵值存儲(chǔ)結(jié)果，包括：

30、對(duì)所述數(shù)據(jù)資源生成請(qǐng)求的業(yè)務(wù)請(qǐng)求標(biāo)識(shí)、業(yè)務(wù)請(qǐng)求信息以及任務(wù)計(jì)算資源進(jìn)行哈希處理，得到與所述數(shù)據(jù)資源生成請(qǐng)求對(duì)應(yīng)的關(guān)聯(lián)主鍵；

31、確定所述數(shù)據(jù)資源生成請(qǐng)求的上下文標(biāo)志序列中包括的上下文標(biāo)志的標(biāo)志數(shù)量，并根據(jù)所述標(biāo)志數(shù)量確定是否需要對(duì)所述任務(wù)上下文信息進(jìn)行文本分塊處理；

32、在確定需要對(duì)所述任務(wù)上下文信息進(jìn)行文本分塊處理時(shí)，對(duì)所述任務(wù)上下文信息進(jìn)行分塊處理，得到上下文分塊結(jié)果，并對(duì)所述上下文分塊結(jié)果以及關(guān)聯(lián)主鍵進(jìn)行關(guān)聯(lián)存儲(chǔ)，得到所述鍵值存儲(chǔ)結(jié)果；

33、在確定不需要對(duì)所述任務(wù)上下文信息進(jìn)行文本分塊處理時(shí)，對(duì)所述任務(wù)上下文信息以及所述關(guān)聯(lián)主鍵進(jìn)行關(guān)聯(lián)存儲(chǔ)，得到所述鍵值存儲(chǔ)結(jié)果。

34、在本公開(kāi)的一種例性實(shí)施例中，目標(biāo)數(shù)據(jù)資源是通過(guò)如下方式得到的：

35、對(duì)所述投機(jī)采樣結(jié)果中包括的上下文標(biāo)志序列進(jìn)行識(shí)別，得到與該投機(jī)采樣結(jié)果對(duì)應(yīng)的目標(biāo)上下文標(biāo)志；

36、基于所述目標(biāo)上下文標(biāo)志以及所述鍵值存儲(chǔ)結(jié)果，確定生成所述投機(jī)采樣結(jié)果所需的任務(wù)上下文信息或上下文分塊結(jié)果；

37、通過(guò)預(yù)設(shè)的任務(wù)推理大模型基于所述任務(wù)上下文信息或上下文分塊結(jié)果對(duì)所述投機(jī)采樣結(jié)果的準(zhǔn)確性進(jìn)行校驗(yàn)，得到準(zhǔn)確性校驗(yàn)結(jié)果，并根據(jù)所述準(zhǔn)確性校驗(yàn)結(jié)果從所述投機(jī)采樣結(jié)果中確定目標(biāo)數(shù)據(jù)資源。

38、在本公開(kāi)的一種示例性實(shí)施例中，所述目標(biāo)投機(jī)采樣模型是通過(guò)如下方式得到的：

39、對(duì)預(yù)設(shè)的任務(wù)推理大模型中包括的編碼模塊的層數(shù)以及解碼模塊的層數(shù)進(jìn)行剪裁，并基于層數(shù)剪裁后的任務(wù)推理大模型，生成目標(biāo)投機(jī)采樣模型。

40、根據(jù)本公開(kāi)的一個(gè)方面，提供一種數(shù)據(jù)資源的生成裝置，包括：

41、目標(biāo)投機(jī)采樣模型匹配模塊，用于接收用戶終端上報(bào)的數(shù)據(jù)資源生成請(qǐng)求，并基于預(yù)設(shè)的業(yè)務(wù)門控網(wǎng)絡(luò)模型為所述數(shù)據(jù)資源生成請(qǐng)求匹配目標(biāo)投機(jī)采樣模型；

42、投機(jī)采樣結(jié)果確定模塊，用于基于所述目標(biāo)投機(jī)采樣模型對(duì)所述數(shù)據(jù)資源生成請(qǐng)求進(jìn)行投機(jī)采樣處理，得到投機(jī)采樣結(jié)果；

43、鍵值存儲(chǔ)結(jié)果構(gòu)建模塊，用于構(gòu)建與所述數(shù)據(jù)資源生成請(qǐng)求對(duì)應(yīng)的鍵值存儲(chǔ)結(jié)果，并將所述鍵值存儲(chǔ)結(jié)果以及投機(jī)采樣結(jié)果推送至云服務(wù)器；

44、目標(biāo)數(shù)據(jù)資源生成模塊，用于接收所述云服務(wù)器根據(jù)所述鍵值存儲(chǔ)結(jié)果對(duì)所述投機(jī)采樣結(jié)果進(jìn)行驗(yàn)證后得到的目標(biāo)數(shù)據(jù)資源，并將所述目標(biāo)數(shù)據(jù)資源反饋至所述用戶終端。

45、根據(jù)本公開(kāi)的一個(gè)方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任意一項(xiàng)所述的數(shù)據(jù)資源的生成方法。

46、根據(jù)本公開(kāi)的一個(gè)方面，提供一種電子設(shè)備，包括：

47、處理器；以及

48、存儲(chǔ)器，用于存儲(chǔ)所述處理器的可執(zhí)行指令；

49、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來(lái)執(zhí)行上述任意一項(xiàng)所述的數(shù)據(jù)資源的生成方法。

50、本公開(kāi)實(shí)施例提供的一種數(shù)據(jù)資源的生成方法，一方面，通過(guò)接收用戶終端上報(bào)的數(shù)據(jù)資源生成請(qǐng)求，并基于預(yù)設(shè)的業(yè)務(wù)門控網(wǎng)絡(luò)模型為數(shù)據(jù)資源生成請(qǐng)求匹配目標(biāo)投機(jī)采樣模型；然后基于目標(biāo)投機(jī)采樣模型對(duì)數(shù)據(jù)資源生成請(qǐng)求進(jìn)行投機(jī)采樣處理，得到投機(jī)采樣結(jié)果；再構(gòu)建與數(shù)據(jù)資源生成請(qǐng)求對(duì)應(yīng)的鍵值存儲(chǔ)結(jié)果，并將鍵值存儲(chǔ)結(jié)果以及投機(jī)采樣結(jié)果推送至云服務(wù)器；最后接收云服務(wù)器根據(jù)鍵值存儲(chǔ)結(jié)果對(duì)投機(jī)采樣結(jié)果進(jìn)行驗(yàn)證后得到的目標(biāo)數(shù)據(jù)資源，并將目標(biāo)數(shù)據(jù)資源反饋至用戶終端，由于可以為數(shù)據(jù)資源生成請(qǐng)求匹配目標(biāo)投機(jī)采樣模型，并在目標(biāo)投機(jī)采樣模型中執(zhí)行具體的數(shù)據(jù)預(yù)測(cè)過(guò)程，而僅需在云服務(wù)器端執(zhí)行驗(yàn)證過(guò)程，進(jìn)而解決了現(xiàn)有技術(shù)中由于無(wú)法根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行有針對(duì)性的策略分流，進(jìn)而使得數(shù)據(jù)資源的生成效率較低的問(wèn)題，可以在降低云服務(wù)器端的計(jì)算負(fù)擔(dān)的基礎(chǔ)上提高數(shù)據(jù)資源的生成效率；另一方面，還可以避免由于并發(fā)高峰時(shí)許多請(qǐng)求的丟失和超時(shí)導(dǎo)致的數(shù)據(jù)資源生成失敗的問(wèn)題。

51、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。