本發(fā)明涉及基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法、系統(tǒng)，屬于自然語言處理。

背景技術：

1、隨著大語言模型迅速發(fā)展，前期已有大量工作針對大模型在不同人工智能任務上的性能進行了探索，但是目前并未見大模型針對東南亞低資源語言機器翻譯性能評測的研究。主要原因是缺乏針對東南亞低資源語言的公開評測數(shù)據(jù)和直接注入東南亞低資源語言進行訓練的大模型。

2、在現(xiàn)實場景中，大模型在零樣本條件下翻譯性能無法得到充分發(fā)揮，但是通過提示工程技術，可以有效地激發(fā)潛在翻譯性能。提示學習是大模型在少樣本或零樣本學習中的核心技術之一。其基本原理是，通過設計合理的提示(prompt)，將任務需求嵌入輸入文本中，從而引導大模型更好地完成特定任務。提示可以顯式提供任務上下文，如通過給定幾條翻譯實例，模型能夠更好地理解并生成翻譯結果。少樣本提示是一種在模型中嵌入少量任務示例的方法，旨在通過少量的任務相關數(shù)據(jù)，激活模型對特定任務的理解。對于多語言翻譯任務，少樣本提示可以通過提供幾條平行語料來幫助模型更準確地捕捉目標語言的翻譯特征。

技術實現(xiàn)思路

1、本發(fā)明提供了基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法、系統(tǒng)，以提高大語言模型潛在翻譯性能。

2、本發(fā)明的技術方案是：基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法，所述方法包括：

3、step1、獲取提示數(shù)據(jù)集；

4、step2、根據(jù)任務導向構建大語言模型的系統(tǒng)輸入；如：優(yōu)化大模型在東南亞語言翻譯任務，構建系統(tǒng)輸入，[系統(tǒng)輸入]：你是一個東南亞語言翻譯專家，請將以下東南亞語言翻譯為中文；

5、step3、基于提示策略從提示數(shù)據(jù)集中篩選提示，把篩選后的提示融入上下文學習提示模板中，再把上下文學習提示模板與輸入句子拼接作為大語言模型的用戶輸入，對大語言模型進行上下文學習用于實現(xiàn)大語言模型翻譯任務中的性能優(yōu)化。

6、進一步地，所述獲取提示數(shù)據(jù)集包括收集雙語平行語料，通過數(shù)據(jù)預處理獲得；所述step1包括：

7、step1.1、從alt(asian?language?treebank)數(shù)據(jù)集中下載東南亞平行語料庫用于測試集；從flores-200數(shù)據(jù)集中下載東南亞平行語料作為備選測試集；

8、step1.2、切割選取測試集，一部分用于翻譯性能評估，另一部分作為提示集，用于上下文提示學習；并對flores-200和alt(asian?language?treebank)數(shù)據(jù)集進行l(wèi)aser(language-agnostic?sentence?representations)質量評分，哪個質量評分高用哪個作為測試集。

9、進一步地，所述laser質量評分的過程如下：

10、假設句子向量為s，句子中每個詞表示為ht，句子向量s通過以下公式計算：

11、

12、其中，ht是編碼器在時間步t生成的詞向量，t是句子長度，句子向量s是平均池化操作生成的，s是句子的最終表示；

13、句子向量之間的相似度使用余弦相似度衡量，給定兩個句子s1和s2，相似度表示如下：

14、

15、其中，s1·s2是兩個句子s1和s2的點積，||s1||||s2||是兩個句子s1和s2的模長。

16、進一步地，所述step2中，所述大語言模型采用：qwen-2-7b-instruct、gpt-3.5-turbo、llama-8b-instruct、llama-70b或seallms2.5-7b。

17、進一步地，所述step2包括：

18、step2.1、根據(jù)任務導向設計大語言模型的系統(tǒng)輸入模板，通過提供明確的結構和引導性提示，用于使得系統(tǒng)輸入模板能有效減少模型的輸出偏差，提高任務執(zhí)行的準確性，降低生成的噪聲；

19、step2.2、根據(jù)具體任務是激活大語言模型翻譯性能，且大部分大語言模型訓練時使用的語料庫是英語為核心，所以采取以英語為中心的系統(tǒng)輸入；雖然大模型支持多語言輸入，但輸入非英文的內(nèi)容時，模型在處理某些語言對翻譯、理解上下文和生成合適結果時，可能會遇到更多的難度；使用英文輸入可以減少任務復雜性，并確保模型能更高效地生成準確結果；具體為[系統(tǒng)輸入]：you?are?an?expert?in?translating?from?chinese?tosoutheastasian?languages.translate?the?following{src_lang}into{tgt_lang}andoutput?only?the?result。

20、進一步地，所述step3包括：

21、step3.1、構建面向東南亞翻譯任務的用戶輸入，由于大部分大語言模型訓練時使用的語料庫是英語為核心，所以采取以英語為中心的用戶輸入，雖然大模型支持多語言輸入，但輸入非英文的內(nèi)容時，模型在處理某些語言對翻譯、理解上下文和生成合適結果時，可能會遇到更多的難度；使用英文輸入可以減少任務復雜性，并確保模型能更高效地生成準確結果；

22、step3.2、設置大語言模型的初始化模型參數(shù)；

23、step3.3、采用提示策略從提示數(shù)據(jù)集中選取一對或多對平行句對融入上下文學習提示模板中；

24、step3.4、融入提示的上下文學習提示模板與輸入拼接作為大語言模型的用戶輸入，用于后續(xù)對大語言模型進行上下文學習；

25、step3.5、在大語言模型中，用戶輸入序列首先經(jīng)過嵌入層，將每個單詞映射到一個高維向量表示；

26、step3.6、再經(jīng)過多個堆疊的自注意力層進行處理；自注意力層包括自注意力機制和前饋神經(jīng)網(wǎng)絡；

27、step3.7、在經(jīng)過自注意力處理提示完成后，大語言模型根據(jù)當前的輸入和生成的上下文來預測下一個詞。

28、進一步地，所述提示策略包括上下文相似度提示、隨機提示、質量優(yōu)先提示和歷史輸出提示；其中：

29、所述上下文相似度提示，是指采取余弦相似度在提示集中選取與待翻譯句子相似度最高的句對融入上下文學習提示模板中，用于模型理解語義，提高翻譯準確性；

30、所述隨機提示，是指在指令構建過程中隨機從提示集選取提示信息提供給模型，隨機提示方法引入了多樣化的上下文信息，用于避免提示的單一性和局限性，但由于其隨機性，匹配到不同領域的句對作為提示，存在誤導大模型的可能性；

31、所述質量優(yōu)先提示，是指利用laser方法對提示集進行質量排序，選取質量最高的平行句對作為提示信息，指導模型生成優(yōu)質的翻譯結果，質量優(yōu)先提示能夠顯著提高翻譯質量，特別是在同一復雜領域的文本時，效果尤為顯著，但過于依賴高質量提示可能限制模型的創(chuàng)造性和靈活性，導致翻譯結果過于模板化；

32、所述歷史輸出提示，是指利用模型之前生成的輸出作為當前翻譯任務的提示信息，歷史輸出提示能夠幫助模型記憶和利用之前的翻譯結果，提高一致性和連貫性；但這種策略過于依賴模型先前輸出的質量，如果模型歷史輸出中存在錯誤，可能會被模型持續(xù)利用導致錯誤積累；

33、本發(fā)明還提供基于提示策略激活的多語言大模型翻譯性能優(yōu)化系統(tǒng)，所述系統(tǒng)包括：用于執(zhí)行上述的基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法方法的模塊。

34、本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法。

35、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述基于提示策略激活的多語言大模型翻譯性能優(yōu)化方法。

36、本發(fā)明的有益效果是：

37、1、通過動態(tài)調整提示策略與模型參數(shù)，實現(xiàn)大模型在低資源語言翻譯任務中的性能優(yōu)化。

38、2、本發(fā)明的方法能夠有效激活大模型的潛在翻譯能力，顯著提升其在低資源語言環(huán)境下的翻譯質量。