本發明涉及計算機，尤其涉及一種基于兩次查詢與低秩近似重排的上下文學習示例選擇方法。

背景技術：

1、隨著自然語言處理技術的快速發展，基于大語言模型(large?language?models,llms)在各種復雜任務中的應用越來越廣泛。近年來，基于上下文學習(in-contextlearning,icl)已成為大語言模型推理能力的一個重要研究方向。icl通過為模型提供少量的示例，讓模型在沒有顯式訓練的情況下，基于這些示例推斷出問題的答案。這種學習方式能夠適應不同的任務場景，尤其在多步驟推理任務中展現了強大的潛力。

2、然而，icl的核心挑戰在于如何有效地選擇合適的示例，這些示例將直接影響模型的推理表現。現有的示例選擇方法通常依賴于輸入問題與示例之間的直接相似度。然而，復雜推理任務通常涉及多步驟推理過程，而單純依賴問題的語義相似性無法充分捕捉這些推理鏈條中的中間步驟，從而影響最終的推理結果。此外，隨著大語言模型生成的高維嵌入表示越來越復雜，示例選擇的效率也受到高維嵌入空間冗余信息的制約，進一步降低了推理效果和效率。

3、因此，現有技術中的示例選擇方法在實際應用中推理性能較差。

技術實現思路

1、有鑒于此，本發明提供一種基于兩次查詢與低秩近似重排的上下文學習示例選擇方法，以解決上述問題。

2、本發明提供一種基于兩次查詢與低秩近似重排的上下文學習示例選擇方法，包括：獲取初始示例和輸入問題；基于所述初始示例和所述輸入問題對大語言模型進行查詢，生成初始思維鏈；根據所述輸入問題和所述初始思維鏈構建訓練數據集，并利用所述訓練數據集構建訓練樣本；訓練檢索器，通過bm25算法從所述訓練數據集中檢索出預設數量的相似的訓練樣本作為候選樣本；計算所述候選樣本的表征與所述輸入問題的表征之間的相似度，并根據所述相似度進行第一次重排；對第一次重排后的候選樣本的表征進行降維，對降維后表征的相似度進行第二次重排；基于第二次重排序后示例的相似度得分，選取示例與所述輸入問題進行拼接，拼接后輸入至所述大語言模型，得到目標思維鏈；對所述目標思維鏈進行解析處理，得到標準答案。

3、在本發明的另一實現方式中，所述相似度表示為：

4、

5、其中，dj′為候選樣本中的示例，j＝1,2,…,k；xi為輸入問題；yi為xi對應的思維鏈；plm(yi|dj′,xi)表示在示例dj′和輸入問題xi的情況下，大語言模型生成思維鏈yi的概率；得分越高，表示dj′中包含與思維鏈yi類似推理邏輯的概率越高。

6、在本發明的另一實現方式中，所述檢索器的對比損失函數表示為：

7、

8、其中，sim為訓練樣本di＝(xi,yi)與候選樣本中示例dj之間的相似度，表示為：

9、

10、其中，se為通過上述損失函數訓練得到的檢索器。

11、在本發明的另一實現方式中，對所述第一次重排后的候選樣本的表征進行降維處理，對降維后表征的相似度進行第二次重排，包括：利用主成分分析對所述第一次重排后的候選樣本中的示例與所述訓練樣本中的初始思維鏈的嵌入進行維度縮減處理；根據維度縮減處理后表征的相似度進行第二次重排。

12、在本發明的基于兩次查詢與低秩近似重排的上下文學習示例選擇方法中，通過結合兩次查詢機制生成推理鏈信息，并利用低秩近似技術對示例進行降維與重排，克服了現有方法在復雜推理任務中的局限性，有效提升了示例選擇的準確性和效率；這兩部分的協同作用，在多步驟推理任務中顯著提升大語言模型的推理性能，尤其是在應對分布偏移的場景下，展示出更強的魯棒性和適應性。

技術特征：

1.一種基于兩次查詢與低秩近似重排的上下文學習示例選擇方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述相似度表示為：

3.根據權利要求2所述的方法，其特征在于，所述檢索器的對比損失函數表示為：

4.根據權利要求1所述的方法，其特征在于，所述對所述第一次重排后的候選樣本的表征進行降維處理，對降維后表征的相似度進行第二次重排，包括：

技術總結
本發明提供一種基于兩次查詢與低秩近似重排的上下文學習示例選擇方法，包括：獲取初始示例和輸入問題；基于初始示例和輸入問題對大語言模型進行查詢，生成初始思維鏈；根據輸入問題和初始思維鏈構建訓練數據集，并利用訓練數據集構建訓練樣本；訓練檢索器，通過BM25算法從訓練數據集中檢索出預設數量的相似的訓練樣本作為候選樣本；計算候選樣本的表征與輸入問題的表征的相似度進行第一次重排；對第一次重排后的候選樣本的表征進行降維，并進行第二次重排；基于第二次重排后示例的相似度得分，選取示例與輸入問題進行拼接，輸入至大語言模型，得到目標思維鏈；對目標思維鏈進行解析處理，得到標準答案。本發明的方法提升了大語言模型的推理性能。

技術研發人員：李成明,李子軒,熊璟,胡希平
受保護的技術使用者：深圳北理莫斯科大學
技術研發日：
技術公布日：2025/4/28