本技術涉及大模型技術、跨語言遷移領域，具體而言，涉及一種文本處理方法、預訓練語言模型的微調方法及電子設備。

背景技術：

1、現有的語言模型在進行跨語言遷移時，主要采用對齊表示或者翻譯為中間語言的方法，然而上述方案并不適用于大型語言模型。而針對大型語言模型的優化提示方法，由于優化空間優先，在應用于低資源語言時會出現一定的限制，這就導致大型語言模型在進行跨語言遷移時的處理能力受到限制，進一步的，還會導致大型語言模型的跨語言遷移準確度較低。

2、針對上述的問題，目前尚未提出有效的解決方案。

技術實現思路

1、本技術實施例提供了一種文本處理方法、預訓練語言模型的微調方法及電子設備，以至少解決相關技術中大型語言模型的跨語言遷移準確度較低的技術問題。

2、根據本技術實施例的一個方面，提供了一種文本處理方法，包括：獲取目標語種的目標文本數據；利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，得到目標文本數據在目標任務下的目標處理結果，其中，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果。

3、根據本技術實施例的另一方面，還提供了一種預訓練語言模型的微調方法，包括：獲取目標語種的目標訓練文本，以及源語種的源訓練文本在目標任務下的第一處理結果；利用源訓練樣本和第一處理結果，對插入有初始任務組件的預訓練語言模型進行訓練，得到目標任務組件，其中，預訓練語言模型是利用源訓練文本進行預訓練得到的；利用目標訓練文本和源訓練文本之間的差異，對插入有初始語言組件的預訓練語言模型進行訓練，得到目標語言組件；對目標任務組件和目標語言組件進行合并，得到目標模型組件；將目標模型組件插入預訓練語言模型，以對預訓練語言模型進行微調，其中，插入有目標模型組件的預訓練語言模型用于對目標語種的目標文本數據進行處理。

4、根據本技術實施例的另一方面，還提供了一種文本處理方法，包括：響應作用于操作界面上的輸入指令，在操作界面上顯示目標語種的目標文本數據；響應作用于操作界面上的處理指令，在操作界面上顯示目標文本數據在目標任務下的目標處理結果，其中，目標處理結果是利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理得到的，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果。

5、根據本技術實施例的另一方面，還提供了一種文本處理方法，包括：通過調用第一接口獲取目標語種的目標文本數據，其中，第一接口包括第一參數，第一參數的參數值包括目標文本數據；利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，得到目標文本數據在目標任務下的目標處理結果，其中，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果；通過調用第二接口輸出目標處理結果，其中，第二接口包括第二參數，第二參數的參數值包括目標處理結果。

6、根據本技術實施例的另一方面，還提供了一種文本處理裝置，包括：獲取模塊，用于獲取目標語種的目標文本數據；處理模塊，用于利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，得到目標文本數據在目標任務下的目標處理結果，其中，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果。

7、根據本技術實施例的另一方面，還提供了一種預訓練語言模型的微調裝置，包括：獲取模塊，用于獲取目標語種的目標訓練文本，以及源語種的源訓練文本在目標任務下的第一處理結果；第一訓練模塊，用于利用源訓練樣本和第一處理結果，對插入有初始任務組件的預訓練語言模型進行訓練，得到目標任務組件，其中，預訓練語言模型是利用源訓練文本進行預訓練得到的；第二訓練模塊，用于利用目標訓練文本和源訓練文本之間的差異，對插入有初始語言組件的預訓練語言模型進行訓練，得到目標語言組件；合并模塊，用于對目標任務組件和目標語言組件進行合并，得到目標模型組件；微調模塊，用于將目標模型組件插入預訓練語言模型，以對預訓練語言模型進行微調，其中，插入有目標模型組件的預訓練語言模型用于對目標語種的目標文本數據進行處理。

8、根據本技術實施例的另一方面，還提供了一種文本處理裝置，包括：第一顯示模塊，用于響應作用于操作界面上的輸入指令，在操作界面上顯示目標語種的目標文本數據；第二顯示模塊，用于響應作用于操作界面上的處理指令，在操作界面上顯示目標文本數據在目標任務下的目標處理結果，其中，目標處理結果是利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理得到的，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果。

9、根據本技術實施例的另一方面，還提供了一種文本處理裝置，包括：獲取模塊，用于通過調用第一接口獲取目標語種的目標文本數據，其中，第一接口包括第一參數，第一參數的參數值包括目標文本數據；處理模塊，用于利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，得到目標文本數據在目標任務下的目標處理結果，其中，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果；輸出模塊，用于通過調用第二接口輸出目標處理結果，其中，第二接口包括第二參數，第二參數的參數值包括目標處理結果。

10、根據本技術實施例的另一方面，還提供了一種電子設備，包括：存儲器，存儲有可執行程序；處理器，用于運行程序，其中，程序運行時執行上述任意一項的方法。

11、根據本技術實施例的另一方面，還提供了一種計算機可讀存儲介質，計算機可讀存儲介質包括存儲的可執行程序，其中，在可執行程序運行時控制計算機可讀存儲介質所在設備執行上述任意一項的方法。

12、在本技術實施例中，采用獲取目標語種的目標文本數據；利用插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，得到目標文本數據在目標任務下的目標處理結果，其中，預訓練語言模型是利用源語種的源訓練文本進行預訓練得到的，目標模型組件是對目標任務組件和目標語言組件進行合并得到的，插入有目標任務組件的預訓練語言模型用于對源語種的源文本數據進行處理，得到源文本數據在目標任務下的處理結果，插入有目標語言組件的預訓練語言模型用于對目標文本數據進行處理，得到目標文本數據在預設任務下的處理結果的方式。容易注意到的是，通過目標任務組件和目標語言組件對預訓練語言模型的能力進行調整，可以使預訓練語言模型在跨語言遷移場景下的處理能力得到提升，其次，通過能力提升后的插入有目標模型組件的預訓練語言模型對目標文本數據進行處理，達到了提高預訓練語言模型的跨語言遷移準確度的目的，從而實現了大型語言模型準確的跨語言遷移的技術效果，進而解決了相關技術中大型語言模型的跨語言遷移準確度較低的技術問題。

13、容易注意到的是，上面的通用描述和后面的詳細描述僅僅是為了對本技術進行舉例和解釋，并不構成對本技術的限定。