本發(fā)明涉及多模態(tài)融合領(lǐng)域，尤其是涉及一種基于多模態(tài)融合大模型ai的來電名片審核方法。

背景技術(shù)：

1、來電名片是面向主叫客戶的通信安全顯性化名片服務(wù)；通過通話前實(shí)名身份信息展示，為客戶提供安全、可信的通訊服務(wù)，達(dá)到提高接通率的核心需求。作為號(hào)百信息服務(wù)有限公司營(yíng)收最大的業(yè)務(wù)，目前顯性化名片分為來電名片視頻版業(yè)務(wù)和來電名片文本版兩種展示形態(tài)，訂閱視頻版業(yè)務(wù)，如被叫終端不支持多媒體內(nèi)容展示則使用文本展示形態(tài)(閃信)發(fā)送。

2、目前為確保本業(yè)務(wù)發(fā)送的信息合法合規(guī)，規(guī)避風(fēng)險(xiǎn)，并確保信息內(nèi)容恰當(dāng)，能提升用戶感知。目前對(duì)于發(fā)送的文本內(nèi)容和視頻內(nèi)容采用人工審核，且有完整和流程化的審核規(guī)范。

3、由于ai技術(shù)發(fā)展，為提示效率，減小誤審率，防止過度營(yíng)銷，并對(duì)抗各類欺騙審核技術(shù)，故使用機(jī)器學(xué)習(xí)技術(shù)，進(jìn)行多模態(tài)融合，引入大模型ai來輔助人工進(jìn)行審核和風(fēng)控。

4、但是現(xiàn)有的審核方法對(duì)于來電名片中的多模態(tài)的特征，無法挖掘各模態(tài)之間潛在的互補(bǔ)信息，無法全面捕捉全局特征和局部特征，導(dǎo)致審核模型輸出的審核結(jié)果泛化性能和審核的準(zhǔn)確性不足。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了提高來電名片審核的泛化性能和審核的準(zhǔn)確性而提供的一種基于多模態(tài)融合大模型ai的來電名片審核方法。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、一種基于多模態(tài)融合大模型ai的來電名片審核方法，所述方法包括以下步驟：

4、s1、從來電名片中提取多模態(tài)數(shù)據(jù)并進(jìn)行預(yù)處理；

5、s2、獲取業(yè)務(wù)規(guī)則與歷史數(shù)據(jù)；

6、s3、將預(yù)處理后的數(shù)據(jù)、業(yè)務(wù)規(guī)則與歷史數(shù)據(jù)輸入基于改進(jìn)transformer的星辰大模型和基于機(jī)器學(xué)習(xí)得到的檢測(cè)模型，所述改進(jìn)transformer采用混合位置編碼，星辰大模型輸出文本特征、圖像特征和視頻時(shí)序特征，在星辰大模型中對(duì)文本特征、圖像特征和視頻時(shí)序特征、歷史特征和規(guī)則特征進(jìn)行融合，得到多模態(tài)特征，多模態(tài)特征輸入telechat大模型輸出第一審核結(jié)果，基于機(jī)器學(xué)習(xí)得到的檢測(cè)模型輸出第二審核結(jié)果，經(jīng)過檢驗(yàn)得到最終審核結(jié)果；

7、s4、基于最終審核結(jié)果優(yōu)化星辰大模型和基于機(jī)器學(xué)習(xí)得到的檢測(cè)模型。

8、進(jìn)一步地，星辰大模型輸出文本特征、圖像特征和視頻時(shí)序特征的具體步驟為：

9、將預(yù)處理后的數(shù)據(jù)中的文本數(shù)據(jù)輸入星辰大模型轉(zhuǎn)換為文本嵌入向量，然后通過星辰大模型的多層的改進(jìn)transformer層進(jìn)行編碼，輸出文本特征；

10、將預(yù)處理后的數(shù)據(jù)中的圖像數(shù)據(jù)輸入星辰大模型的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，經(jīng)過多個(gè)卷積層和池化層，得到圖像特征；

11、將預(yù)處理后的數(shù)據(jù)中的視頻數(shù)據(jù)輸入星辰大模型的transformer進(jìn)行編碼，輸出視頻時(shí)序特征。

12、進(jìn)一步地，所述通過星辰大模型的多層的改進(jìn)transformer層進(jìn)行編碼的具體步驟為：

13、文本嵌入向量和改進(jìn)transformer層計(jì)算的文本嵌入向量對(duì)應(yīng)的混合位置編碼相加，然后輸入改進(jìn)transformer層的多頭注意力機(jī)制層、第一殘差連接和層歸一化層、前饋神經(jīng)網(wǎng)絡(luò)和第二殘差連接和層歸一化層，輸出文本特征。

14、進(jìn)一步地，所述混合位置編碼的具體計(jì)算流程為：

15、步驟1：計(jì)算絕對(duì)位置編碼，絕對(duì)位置編碼為每個(gè)輸入詞匯或字符計(jì)算一個(gè)基于其絕對(duì)位置的編碼，具體為：

16、

17、其中：pos是位置索引，i是位置編碼的維度索引，d是嵌入向量的維度。

18、步驟2：再計(jì)算相對(duì)位置編碼，即對(duì)于輸入中的每一對(duì)詞匯，計(jì)算它們之間的相對(duì)位置；

19、步驟3：將絕對(duì)位置編碼和相對(duì)位置編碼通過加權(quán)求和進(jìn)行融合，得到混合位置編碼，混合位置編碼為：

20、pemix＝α·peabs+(1-α)·perel；

21、其中peabs是絕對(duì)位置編碼，perel是相對(duì)位置編碼，α是加權(quán)系數(shù)；

22、其中，在多頭注意力機(jī)制層的每一層的自注意力計(jì)算中，將絕對(duì)位置編碼和相對(duì)位置編碼進(jìn)行逐層融合。

23、進(jìn)一步地，所述多模態(tài)特征基于加權(quán)求和或注意力機(jī)制方法計(jì)算得到。

24、進(jìn)一步地，基于加權(quán)求和得到的多模態(tài)特征為：

25、efusion＝wtext·ctext+wimage·cimage+wvideo·cvideo+whistory·chistory+wrules·crules；

26、其中，efusion為多模態(tài)特征，ctext為文本特征，cimage為圖像特征，cvideo為視頻時(shí)序特征，chistory為歷史特征，crules為規(guī)則特征，wtext、wimage、wvideo、whistory、wrules分別為文本特征、圖像特征、視頻時(shí)序特征、歷史特征、規(guī)則特征對(duì)應(yīng)的學(xué)習(xí)的權(quán)重系數(shù)。

27、進(jìn)一步地，基于注意力機(jī)制方法的多模態(tài)特征為：

28、

29、其中，amodality為注意力權(quán)重，i表示多模態(tài)特征的類別序號(hào)，多模態(tài)特征的類別分為文本特征、圖像特征和視頻時(shí)序特征、歷史特征和規(guī)則特征，注意力權(quán)重為：amodality＝softmax(q·kt/dk)，cmodality表示多模態(tài)特征，q和k分別是查詢向量和鍵向量，通過將每個(gè)模態(tài)的特征映射到同一空間得到，dk是鍵向量的維度。

30、進(jìn)一步地，獲取規(guī)則特征的具體步驟為：

31、通過rag機(jī)制，從業(yè)務(wù)規(guī)則庫中檢索與預(yù)處理后的數(shù)據(jù)最相關(guān)的規(guī)則，所述最相關(guān)的規(guī)則表示與預(yù)處理后的數(shù)據(jù)余弦相似度最大的規(guī)則。

32、進(jìn)一步地，獲取歷史特征的具體步驟為：

33、通過rag機(jī)制，從歷史數(shù)據(jù)中檢索與預(yù)處理后的數(shù)據(jù)最相似的過往審核案例作為歷史特征，所述最相似的過往審核案例為表示與預(yù)處理后的數(shù)據(jù)相似度最大的過往審核案例。

34、進(jìn)一步地，所述預(yù)處理包括缺失值處理和歸一化。

35、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

36、本發(fā)明結(jié)合深度聯(lián)合特征表示，采用混合位置編碼，結(jié)合了絕對(duì)位置編碼和相對(duì)位置編碼的優(yōu)點(diǎn)的基于transformer的星辰大模型，使得模型既能夠理解全局結(jié)構(gòu)，又能夠捕捉局部的語法依賴，在多個(gè)層次上進(jìn)行特征融合，能夠有效挖掘各模態(tài)之間潛在的互補(bǔ)信息，捕捉更加復(fù)雜的跨模態(tài)關(guān)系，提高來電名片審核的泛化性能和審核的準(zhǔn)確性。

技術(shù)特征：

1.一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，星辰大模型輸出文本特征、圖像特征和視頻時(shí)序特征的具體步驟為：

3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，所述通過星辰大模型的多層的改進(jìn)transformer層進(jìn)行編碼的具體步驟為：

4.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，所述混合位置編碼的具體計(jì)算流程為：

5.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，所述多模態(tài)特征基于加權(quán)求和或注意力機(jī)制方法計(jì)算得到。

6.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，基于加權(quán)求和得到的多模態(tài)特征為：

7.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，基于注意力機(jī)制方法的多模態(tài)特征為：

8.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，獲取規(guī)則特征的具體步驟為：

9.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，獲取歷史特征的具體步驟為：

10.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合大模型ai的來電名片審核方法，其特征在于，所述預(yù)處理包括缺失值處理和歸一化。

技術(shù)總結(jié)
本發(fā)明涉及一種基于多模態(tài)融合大模型AI的來電名片審核方法，所述方法包括以下步驟：S1、從來電名片中提取多模態(tài)數(shù)據(jù)并進(jìn)行預(yù)處理；S2、獲取業(yè)務(wù)規(guī)則與歷史數(shù)據(jù)；S3、將預(yù)處理后的數(shù)據(jù)、業(yè)務(wù)規(guī)則與歷史數(shù)據(jù)輸入基于改進(jìn)Transformer的星辰大模型和基于機(jī)器學(xué)習(xí)得到的檢測(cè)模型經(jīng)過檢驗(yàn)得到最終審核結(jié)果；S4、基于最終審核結(jié)果優(yōu)化星辰大模型和基于機(jī)器學(xué)習(xí)得到的檢測(cè)模型。與現(xiàn)有技術(shù)相比，本發(fā)明具有提高來電名片審核的泛化性能和審核的準(zhǔn)確性等優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：賈泉臻,李宏圖,王光宇,崔隆,吳仲文
受保護(hù)的技術(shù)使用者：號(hào)百信息服務(wù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28