本發明涉及人工智能,具體而言,涉及一種會話信息的處理方法及電子設備、存儲介質。
背景技術:
1、會話信息是基于自然語言處理技術的文本內容,即在特定語境下,用戶與系統之間的交流信息,例如:在日常生活中,用戶與客服之間的問答交流信息等。通常,會話信息的處理包含會話信息理解及改寫兩個步驟,其中,會話信息理解通過獲取會話信息中的語義信息,得到會話信息的語義結構,會話信息改寫則通過會話信息理解得到的語義結構,對用戶發起的會話信息進行改寫,以實現會話信息的高效處理。
2、近年來,隨著大規模語言模型(large?language?models,llm)的普及,以對話形式進行的自然語言處理任務越來越廣泛地應用于各個領域。這些大模型通過深度學習技術,可以理解并生成類似人類語言的內容,在機器翻譯、自動摘要、文本生成以及對話系統等方面表現出了巨大的潛力和優勢。在許多場景下,用戶希望通過簡單的自然語言對話形式獲取復雜信息,特別是在檢索外部知識庫或文檔時,要求系統能夠快速、準確地返回相關內容。
3、為了滿足這種需求,rag(retrieval-augmented?generation)技術應運而生。rag是一種結合了檢索與生成的混合模型技術,通過先檢索相關文檔片段,再利用生成模型生成答案,為用戶提供更高效、精準的信息。然而,在實際應用中,特別是在對話系統中,rag技術的表現常常受到口語化名詞與專有名詞不一致的問題影響,從而導致檢索準確率的下降。
4、針對上述的問題,目前尚未提出有效的解決方案。
技術實現思路
1、本發明實施例提供了一種會話信息的處理方法及電子設備、存儲介質,以至少解決由于現有語言模型在理解口語化名詞與專有名詞不一致,造成的文檔檢索準確率低的技術問題。
2、根據本發明實施例的一個方面,提供了一種會話信息的處理方法,包括:獲取會話信息,其中,會話信息由目標用戶發起;基于會話信息確定第一名詞信息,其中,第一名詞信息包括會話信息中的口語名詞;基于第一名詞信息確定第二名詞信息,其中,第二名詞信息包括與口語名詞關聯的專有名詞;基于第二名詞信息對會話信息進行改寫,得到目標會話信息。
3、進一步地,基于第一名詞信息確定第二名詞信息,包括:獲取關聯信息,關聯信息用于確定口語名詞與專有名詞的映射關系;基于關聯信息和第一名詞信息確定第二名詞信息。
4、進一步地,基于關聯信息和第一名詞信息確定第二名詞信息,包括:基于關聯信息,將第一名詞信息與專有名詞信息中的專有名詞進行匹配,確定匹配成功的專有名詞為第二名詞信息,其中,專有名詞信息為所有專有名詞的集合。
5、進一步地,獲取關聯信息,包括:獲取訓練會話信息,其中,訓練會話信息包括如下至少之一:預設的用戶問題、目標用戶的歷史會話記錄;獲取名詞真值信息,其中,名詞真值信息包括專有名詞和專有名詞的第一名詞解釋;基于訓練會話信息確定口語名詞信息,其中,口語名詞信息包括口語名詞和口語名詞對應的第二名詞解釋;對名詞真值信息和口語名詞信息進行相似度分組,得到分組結果,其中,一個分組結果中包括一個專有名詞和至少一個口語名詞;對同一個分組結果中的專有名詞和口語名詞建立映射關系,得關聯信息。
6、進一步地,對名詞真值信息和口語名詞信息進行相似度分組,得到分組結果,包括:對名詞真值信息進行嵌入得到第一嵌入向量;對口語名詞信息進行嵌入得到第二嵌入向量;對第一嵌入向量和第二嵌入向量進行相似度分組,得到分組結果。
7、進一步地,對第一嵌入向量和第二嵌入向量進行相似度分組,得到分組結果,包括:對第一嵌入向量和第二嵌入向量進行第一次分組,得到中間分組結果;利用大語言模型對中間分組結果進行第二次分組,得到分組結果。
8、進一步地,對第一嵌入向量和第二嵌入向量進行第一次分組,得到中間分組結果,包括:通過knn算法計算第一嵌入向量和第二嵌入向量之間的語義相似度;通過大語言模型判斷第一嵌入向量對應的專有名詞和第二嵌入向量對應的口語名詞是否表示同一現實事物,得到判斷結果;基于語義相似度和判斷結果確定得到中間分組結果。
9、根據本發明實施例的另一方面,還提供了一種電子設備,包括:存儲器,存儲有可執行程序;處理器,用于運行程序,其中,程序運行時執行本發明各個實施例中的方法。
10、根據本發明實施例的另一方面,還提供了一種計算機可讀存儲介質,計算機可讀存儲介質包括存儲的可執行程序,其中,在可執行程序運行時控制計算機可讀存儲介質所在設備執行本發明各個實施例中的方法。
11、根據本發明實施例的另一方面,還提供了一種計算機程序產品,包括計算機程序,計算機程序在被處理器執行時實現本發明各個實施例中的方法。
12、在本發明實施例中,采用會話信息處理與名詞轉換的方式,通過收集用戶發起的會話信息并智能提取其中的口語名詞,接著基于這些口語名詞確定對應的專有名詞,達到了精準匹配用戶口語化表達與專業術語的目的,從而實現了提高文檔檢索準確性和對話系統理解能力的技術效果,進而解決了由于現有語言模型在理解口語化名詞與專有名詞不一致,造成的文檔檢索準確率低的技術問題。
1.一種會話信息的處理方法,其特征在于,包括:
2.根據權利要求1所述的處理方法,其特征在于,基于所述第一名詞信息確定第二名詞信息,包括:
3.根據權利要求2所述的處理方法,其特征在于,基于所述關聯信息和所述第一名詞信息確定所述第二名詞信息,包括:
4.根據權利要求2所述的處理方法,其特征在于,獲取關聯信息,包括:
5.根據權利要求4所述的處理方法,其特征在于,對所述名詞真值信息和所述口語名詞信息進行相似度分組,得到分組結果,包括:
6.根據權利要求5所述的處理方法,其特征在于,對所述第一嵌入向量和所述第二嵌入向量進行相似度分組,得到所述分組結果,包括:
7.根據權利要求6所述的處理方法,其特征在于,對所述第一嵌入向量和所述第二嵌入向量進行第一次分組,得到中間分組結果,包括:
8.一種電子設備,其特征在于,包括:
9.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質包括存儲的可執行程序,其中,在所述可執行程序運行時控制所述存儲介質所在設備執行權利要求1至7中任意一項所述的方法。
10.一種計算機程序產品,其特征在于,包括計算機程序,所述計算機程序在被處理器執行時實現根據權利要求1至7中任意一項所述的方法。