本發明涉及數據標注，特別是涉及一種數據標注方法及裝置、電子設備、存儲介質。

背景技術：

1、在快速發展的人工智能領域，數據標注作為機器學習和深度學習算法訓練的基礎，對提高模型性能起著至關重要的作用，無論是在工業界還是學術界，有恰當標簽的數據對市場的發展和科研的推進都有重要的作用。

2、相關技術中的數據標注方法一般依賴于人工操作來完成數據的分類和標注；其通常將不同模態的數據分開處理，如使用獨立的工具分別標注文本、語音和圖像數據。

3、然而，由于相關技術中需要完成多模態數據標注時不但需要人工標注，且標注人員需要分別熟悉各個工具的使用，使得標注所需的成本較高且標注效率較差。

技術實現思路

1、鑒于上述問題，提出了以便提供克服上述問題或者至少部分地解決上述問題的一種數據標注方法及裝置、電子設備、存儲介質，包括：

2、一種數據標注方法，所述方法包括：

3、獲取待標注數據，并確定所述待標注數據的標注類型與輸出格式；其中，所述標注類型包括語音類型、文本類型與圖像類型中的一種或多種；

4、根據所述待標注數據的標注類型，確定所述待標注數據的數據集文件，并通過預設語音模型、預設文本模型與預設視覺模型對所述數據集文件進行特征提取，得到第一語音模態特征、第一文本模態特征與第一視覺模態特征；

5、根據所述第一語音模態特征、第一文本模態特征與第一視覺模態特征，得到共享特征，并根據所述第一語音模態特征、第一文本模態特征、第一視覺模態特征與所述共享特征，得到融合模態特征；

6、根據所述標注類型、所述輸出格式與所述融合模態特征，得到所述待標注數據的標注結果。

7、可選的，所述根據所述第一語音模態特征、第一文本模態特征與第一視覺模態特征，得到共享特征，包括：

8、對所述第一語音模態特征、第一文本模態特征與第一視覺模態特征進行合并，得到所述共享特征。

9、可選的，所述根據所述第一語音模態特征、第一文本模態特征、第一視覺模態特征與所述共享特征，得到融合模態特征，包括：

10、在將所述共享特征作為查詢向量，且，所述第一語音模態特征、第一文本模態特征與第一視覺模態特征作為鍵值對的條件下，將所述第一語音模態特征、第一文本模態特征與第一視覺模態特征分別與所述共享特征進行融合，得到第二語音模態特征、第二文本模態特征與第二視覺模態特征；

11、根據所述第二語音模態特征、第二文本模態特征與第二視覺模態特征，得到所述融合模態特征。

12、可選的，所述根據所述第二語音模態特征、第二文本模態特征與第二視覺模態特征，得到所述融合模態特征，包括：

13、通過漸進式融合網絡與自注意力機制依次對所述第二語音模態特征、第二文本模態特征與第二視覺模態特征進行特征提取，得到第三語音模態特征、第三文本模態特征與第三視覺模態特征；

14、根據所述第三語音模態特征、第三文本模態特征與第三視覺模態特征，得到原始融合模態特征，并對所述原始融合模態特征進行正交化處理，得到所述融合模態特征。

15、可選的，所述通過預設語音模型、預設文本模型與預設視覺模型對所述數據集文件進行特征提取之前，還包括：

16、對所述數據集文件進行數據增強處理。

17、可選的，所述對所述第一語音模態特征、第一文本模態特征與第一視覺模態特征進行合并，得到所述共享特征，包括：

18、通過多模態注意力機制融合、深度平衡多模態融合與線性融合中的任意一種，對所述第一語音模態特征、第一文本模態特征與第一視覺模態特征進行合并，得到所述共享特征。

19、可選的，所述將所述第一語音模態特征、第一文本模態特征與第一視覺模態特征分別與所述共享特征進行融合，得到第二語音模態特征、第二文本模態特征與第二視覺模態特征，包括：

20、通過交叉注意力機制融合、加權融合、特征池化融合以及特征變換融合中的任意一種，將所述第一語音模態特征、第一文本模態特征與第一視覺模態特征分別與所述共享特征進行融合，得到所述第二語音模態特征、第二文本模態特征與第二視覺模態特征。

21、一種數據標注裝置，所述裝置包括：

22、待標注數據獲取模塊，用于獲取待標注數據，并確定所述待標注數據的標注類型與輸出格式；其中，所述標注類型包括語音類型、文本類型與圖像類型中的一種或多種；

23、特征提取模塊，用于根據所述待標注數據的標注類型，確定所述待標注數據的數據集文件，并通過預設語音模型、預設文本模型與預設視覺模型對所述數據集文件進行特征提取，得到第一語音模態特征、第一文本模態特征與第一視覺模態特征；

24、融合模態特征獲取模塊，用于根據所述第一語音模態特征、第一文本模態特征與第一視覺模態特征，得到共享特征，并根據所述第一語音模態特征、第一文本模態特征、第一視覺模態特征與所述共享特征，得到融合模態特征；

25、標注結果生成模塊，用于根據所述標注類型、所述輸出格式與所述融合模態特征，得到所述待標注數據的標注結果。

26、一種電子設備，包括處理器、存儲器及存儲在所述存儲器上并能夠在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如上所述的數據標注方法。

27、一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現如上所述的數據標注方法。

28、一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時實現如上所述的數據標注方法。

29、本發明實施例具有以下優點：

30、本發明提供了一種數據標注方法，通過獲取待標注數據并確定待標注數據的標注類型與輸出格式；其中，標注類型包括語音類型、文本類型與圖像類型中的一種或多種；隨后根據待標注數據的標注類型，得到待標注數據的數據集文件，并通過預設語音模型、預設文本模型與預設視覺模型對數據集文件進行特征提取，得到第一語音模態特征、第一文本模態特征與第一視覺模態特征；從而根據第一語音模態特征、第一文本模態特征與第一視覺模態特征，得到共享特征，并根據第一語音模態特征、第一文本模態特征、第一視覺模態特征與共享特征，得到融合模態特征；進而根據標注類型、輸出格式與融合模態特征得到待標注數據的標注結果的方式。實現了多模態數據的自動化標注，并通過多模態特征融合的方式，進一步提升了標注結果生成模型對數據的理解，從而提升了數據標注的準確性，無需人工進行多模態標注過程，減少了數據標注的成本，提高了數據標注的標注效率。

技術特征：

1.一種數據標注方法，其特征在于，所述方法包括：

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一語音模態特征、第一文本模態特征與第一視覺模態特征，得到共享特征，包括：

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一語音模態特征、第一文本模態特征、第一視覺模態特征與所述共享特征，得到融合模態特征，包括：

4.根據權利要求3所述的方法，其特征在于，所述根據所述第二語音模態特征、第二文本模態特征與第二視覺模態特征，得到所述融合模態特征，包括：

5.根據權利要求1所述的方法，其特征在于，所述通過預設語音模型、預設文本模型與預設視覺模型對所述數據集文件進行特征提取之前，還包括：

6.根據權利要求2所述的方法，其特征在于，所述對所述第一語音模態特征、第一文本模態特征與第一視覺模態特征進行合并，得到所述共享特征，包括：

7.根據權利要求3所述的方法，其特征在于，所述將所述第一語音模態特征、第一文本模態特征與第一視覺模態特征分別與所述共享特征進行融合，得到第二語音模態特征、第二文本模態特征與第二視覺模態特征，包括：

8.一種數據標注裝置，其特征在于，所述裝置包括：

9.一種電子設備，其特征在于，包括處理器、存儲器及存儲在所述存儲器上并能夠在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1至7中任一項所述的數據標注方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的數據標注方法。

技術總結
本發明實施例提供了一種數據標注方法及裝置、電子設備、存儲介質，通過獲取待標注數據并確定待標注數據的標注類型與輸出格式；隨后根據待標注數據的標注類型，得到待標注數據的數據集文件，并通過預設語音模型、預設文本模型與預設視覺模型對數據集文件進行特征提取，得到第一語音模態特征、第一文本模態特征與第一視覺模態特征；從而根據前述特征得到共享特征，并進一步得到融合模態特征；進而根據標注類型、輸出格式與融合模態特征得到待標注數據的標注結果的方式。實現了多模態數據的自動化標注，提升了模型對數據的理解，從而提升了數據標注的準確性，無需人工進行多模態標注過程，減少了數據標注的成本，提高了數據標注的效率。

技術研發人員：宋雅男,陳莉萍,晏佰慧
受保護的技術使用者：中電信人工智能科技（北京）有限公司
技術研發日：
技術公布日：2025/4/28