本申請涉及人工智能，具體而言，涉及一種大語言模型提示文本的壓縮方法、裝置、電子設備及計算機可讀存儲介質。

背景技術：

1、隨著ai技術的快速發展，大語言模型(large?language?mode?l,llm)已成為自然語言處理領域的核心技術之一。然而，大語言模型在實際應用中存在一些挑戰，包括大語言模型幻覺以及知識更新的不及時。

2、為了解決大語言模型幻覺和知識更新不及時等問題，研究者們提出一種檢索增強生成(retr?ieva?l-augmented?generat?ion,rag)技術。在生成文本之前，采用檢索增強生成技術先從大量相關信息中檢索，基于將檢索到的多個文檔形成提示文本輸入到生成模型中，有效緩解了大語言模型的幻覺問題，并提高了知識更新的速度。

3、但是，由于檢索增強生成技術而引入過長的提示文本，會增加大語言模型的處理負擔，從而增加推理的成本和時延。

技術實現思路

1、為解決上述技術問題，本申請的實施例提供了一種大語言模型提示文本的壓縮方法、裝置、電子設備及計算機可讀存儲介質，能夠有效地進行文檔壓縮，以降低大語言模型的處理負擔，進而降低處理的成本和時延。

2、根據本申請實施例的一個方面，提供了一種大語言模型提示文本的壓縮方法，包括：基于輸入問題生成第一數量的待壓縮文檔；評估所述待壓縮文檔各自的重要性，并基于所述重要性篩選得到第二數量的待壓縮文檔；基于所述第二數量的待壓縮文檔各自的重要性，對所述第二數量的待壓縮文檔分別分配對應的壓縮比例，并基于分配的壓縮比例對所述第二數量的待壓縮文檔分別進行壓縮處理，以得到所述第二數量的壓縮后文檔；將所述輸入問題與所述第二數量的壓縮后文檔輸入至大語言模型中，以使所述大語言模型輸出所述輸入問題對應的答案。

3、在另一示例性實施例中，所述評估所述待壓縮文檔各自的重要性，并基于所述重要性篩選得到第二數量的待壓縮文檔，包括：計算所述輸入問題對于各個所述待壓縮文檔的困惑度；根據各個所述待壓縮文檔的困惑度，評估各個所述待壓縮文檔的重要性；其中，所述重要性與所述困惑度呈正相關。

4、在另一示例性實施例中，所述計算所述輸入問題對于各個所述待壓縮文檔的困惑度，包括：在所述輸入問題包含的詞元中選定關鍵詞元；根據所述輸入問題中的詞元數量，以及所述待壓縮文檔中出現所述關鍵詞元的概率，確定所述待壓縮文檔的困惑度。

5、在另一示例性實施例中，在所述得到所述第二數量的壓縮后文檔之后，還包括：將所述第一數量的待壓縮文檔拼接后轉換為第一嵌入向量，以及將所述第二數量的壓縮后文檔拼接后轉換為第二嵌入向量；若所述壓縮后文檔的語義損失嚴重，則將所述第一嵌入向量和所述第二嵌入向量進行拼接，得到拼接后向量；根據所述第一嵌入向量和所述拼接后向量確定出第一語義特征向量，以及根據所述第二嵌入向量和所述拼接后向量確定出第二語義特征向量；將所述第一語義特征向量和所述第二語義特征向量映射到共同特征空間，以在所述共同特征空間中分析各個語義特征向量所包含語義特征之間的相似度，并基于所述相似度對各個語義特征向量進行語義增強。

6、在另一示例性實施例中，所述方法還包括：計算所述第一嵌入向量與所述第二嵌入向量之間的差異向量，以及所述差異向量的范數；根據所述差異向量的范數，確定所述壓縮后文檔的語義損失。

7、在另一示例性實施例中，所述將所述輸入問題與所述第二數量的壓縮后文檔輸入至大語言模型中，以使所述大語言模型輸出所述輸入問題對應的答案，包括：基于所述第二數量的待壓縮文檔各自的重要性，對所述第二數量的待壓縮文檔根據重要性由高到低依次進行排序，以獲得待壓縮文檔序列；將所述輸入問題與所述待壓縮文檔序列輸入至所述大語言模型中。

8、在另一示例性實施例中，所述第一數量的待壓縮文檔拼接形成第一序列，所述輸入問題對應的答案拼接形成第二序列，所述第二數量的壓縮后文檔拼接形成第三序列；所述方法還包括：獲取所述第一序列與所述第二序列之間的最長公共子序列；從所述最長公共子序列中提取出目標文檔，并將所述目標文檔作為待輸入所述語言模型中的壓縮后文檔，使得所述大語言模型輸出所述答案；所述第三序列中不存在所述目標文檔。

9、根據本申請實施例的一個方面，提供了一種大語言模型提示文本的壓縮裝置，包括：待壓縮文檔生成模塊，配置為基于輸入問題生成第一數量的待壓縮文檔；重要性評估模塊，配置為評估所述待壓縮文檔各自的重要性，并基于所述重要性篩選得到第二數量的待壓縮文檔；壓縮模塊，配置為基于所述第二數量的待壓縮文檔各自的重要性，對所述第二數量的待壓縮文檔分別分配對應的壓縮比例，并基于分配的壓縮比例對所述第二數量的待壓縮文檔分別進行壓縮處理，以得到所述第二數量的壓縮后文檔；輸入模塊，配置為將所述輸入問題與所述第二數量的壓縮后文檔輸入至大語言模型中，以使所述大語言模型輸出所述輸入問題對應的答案。

10、根據本申請實施例的一個方面，提供了一種電子設備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述電子設備實現如上所述的大語言模型提示文本的壓縮方法。

11、根據本申請實施例的一個方面，提供了一種計算機可讀存儲介質，其上存儲有計算機可讀指令，當所述計算機可讀指令被計算機的處理器執行時，使計算機執行如上所述的大語言模型提示文本的壓縮方法。

12、在本申請的實施例提供的技術方案中，圍繞輸入問題針對性地生成出第一數量的待壓縮文檔，對第一數量的待壓縮文檔各自的重要性進行評估，篩選得到重要性相對較高的第二數量的待壓縮文檔，以降低數據規模和后續處理負擔；隨后，基于第二數量的待壓縮文檔各自的重要性，對第二數量的待壓縮文檔分別分配對應的壓縮比例，并基于分配的壓縮比例分別進行壓縮處理，以保留關鍵信息的同時最大限度地減少文檔中的無關信息，使得壓縮后文檔更加精煉，從而大幅降低提示文本的數據量，有效地降低大語言模型的處理負擔，以及降低處理的成本和時延。

13、應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本申請。

技術特征：

1.一種大語言模型提示文本的壓縮方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述評估所述待壓縮文檔各自的重要性，并基于所述重要性篩選得到第二數量的待壓縮文檔，包括：

3.根據權利要求2所述的方法，其特征在于，所述計算所述輸入問題對于各個所述待壓縮文檔的困惑度，包括：

4.根據權利要求1所述的方法，其特征在于，在所述得到所述第二數量的壓縮后文檔之后，還包括：

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

6.根據權利要求1所述的方法，其特征在于，所述將所述輸入問題與所述第二數量的壓縮后文檔輸入至大語言模型中，以使所述大語言模型輸出所述輸入問題對應的答案，包括：

7.根據權利要求1所述的方法，其特征在于，所述第一數量的待壓縮文檔拼接形成第一序列，所述輸入問題對應的答案拼接形成第二序列，所述第二數量的壓縮后文檔拼接形成第三序列；所述方法還包括：

8.一種大語言模型提示文本的壓縮裝置，其特征在于，包括：

9.一種電子設備，其特征在于，包括：

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機可讀指令，當所述計算機可讀指令被計算機的處理器執行時，使計算機執行權利要求1至7中任一項所述的大語言模型提示文本的壓縮方法。

技術總結
本申請的實施例揭示了一種大語言模型提示文本的壓縮方法、裝置、電子設備及存儲介質，該方法包括：基于輸入問題生成第一數量的待壓縮文檔；評估所述待壓縮文檔各自的重要性，并基于所述重要性篩選得到第二數量的待壓縮文檔；基于所述第二數量的待壓縮文檔各自的重要性，對所述第二數量的待壓縮文檔分別分配對應的壓縮比例，并基于分配的壓縮比例對所述第二數量的待壓縮文檔分別進行壓縮處理，以得到所述第二數量的壓縮后文檔；將所述輸入問題與所述第二數量的壓縮后文檔輸入至大語言模型中，以使所述大語言模型輸出所述輸入問題對應的答案。由此，本實施例能夠有效地進行文檔壓縮，以降低大語言模型的處理負擔，進而降低處理的成本和時延。

技術研發人員：梁致遠
受保護的技術使用者：中國電信股份有限公司技術創新中心
技術研發日：
技術公布日：2025/4/28