本發明涉及輿情監測,尤其涉及一種基于大模型實現負面輿情自動監測與反欺詐方法。
背景技術:
1、輿情監測可以分析出輿情動向,幫助用戶更好的應對輿情事件,從而降低被誤導或欺騙的風險,輿情監測有助于實現用戶畫像反欺詐。
2、但是,現有的輿情監測系統常用的文本數據分析、自然語言處理、機器學習等技術,都需要人工先采集類似樣本數據并構建專屬模型后,才能準確處理相似特征的輿情數據。這種方式適用范圍較窄,只能對特定情景或有相似特征的輿情有一定的效果。通常解決適用范圍窄的方法是人為采集更多具有不同特征的輿情數據,建立多個輿情模型或者建立一個能兼容多種特征的輿情模型。這種方案的缺點是模型構建數量多、成本高,無法窮舉所有類型的模型。而對多種事件構建一個基本都兼顧的輿情監測模型也有很多弊端,往往這種模型識別準確率低,反應不夠靈敏。
3、現有構建用戶畫像的技術所使用模型缺乏自我推理能力和泛化能力,底層原理是通過歷史數據構建特征模型進行匹配。這種特征模型包含的信息非常有限,導致匹配精度不高。解決用戶畫像特征模型精度低的問題,一般采用的方式是構建n個特征模型,然后將用戶信息與n個特征模型一一匹配,最后采用一定的策略綜合評估以提高精度,工作量大、成本高。
技術實現思路
1、本發明目的是針對背景技術中存在的輿情監測系統適用范圍窄的問題,提出一種基于大模型實現負面輿情自動監測與反欺詐方法。
2、本發明的技術方案:一種基于大模型實現負面輿情自動監測與反欺詐方法,包括以下步驟:
3、s1、構建輿情監測用戶畫像大模型,該模型為聯邦模型結構,聯邦模型分為上下兩層,上層是聚合服務器,下層是多個數據參與者;
4、s2、訓練輿情監測用戶畫像大模型;
5、s3、通過訓練輿情監測用戶畫像大模型進行輿情監測和反欺詐。
6、優選的,s1中,聚合服務器將全局參數下發至數據參與者,數據參與者將模型參數和費舍爾信息上傳至聚合服務器。
7、優選的,數據參與者利用全局參數在私域范圍內進行模型訓練,數據參與者的訓練數據不共享。
8、優選的,數據參與者利用全局參數在私域和公域范圍內進行模型訓練,私域數據不共享,公域數據共享。
9、優選的,s2中,訓練輿情監測用戶畫像大模型包括以下步驟:s201、聚合服務器初始化輿情監測用戶畫像大模型參數并下發到各個數據參與者;s202、各數據參與者采集私域用戶輿情語料;s203、參與單位對語料進行清洗、整理成符合輿情監測用戶畫像大模型訓練要求的結構化文檔數據;s204、數據參與者隨機抽取一定量的訓練數據進行標注,作為模型訓練樣本;s205、數據參與者使用transform架構在單位內部訓練本地樣本數據;s206、數據參與者獲得本地大模型參數并計算費舍爾信息;s207、數據參與者上傳大模型參數和費舍爾信息到聚合服務器;s208、聚合服務器進行聯邦決議全局費舍爾信息;s209、聚合服務器根據費舍爾信息整合各數據參與者上傳的本地大模型參數為全局大模型參數;s210、生成輿情監測用戶畫像大模型。
10、優選的,s3中,輿情監測和反欺詐包括以下步驟:s301、實時采集互聯網或公司內部用戶投訴和評論輿情語料;s302、對語料進行清洗、整理成符合輿情監測用戶畫像大模型訓練要求的結構化文檔數據;s303、輸入輿情監測用戶畫像大模型進行處理;s304、判斷當前評論是否構成輿情事件,否,則回到步驟s301繼續循環;是,則跳轉到下一步繼續執行;s305、判斷輿情事件是否包含欺詐性質;s306、如輿情信息只是某個熱點事件,不會對用戶造成財產經濟損失,則同步公關部門關注;s307、如輿情信息會對用戶造成財產經濟損失,則固定證據并同步法務部門。
11、與現有技術相比,本發明具有如下有益的技術效果:大模型采用了大量高質量的私域輿情數據進行訓練,故對輿情事件識別的準確度大大提高,同時也具備對各種輿情事件制造者用戶畫像特征的準確識別能力。因采用了聯邦學習方式對大模型進行分布式訓練,本方法解決了模型訓練與數據孤島之間的矛盾。通過輿情監測用戶畫像大模型,實現了一個大模型監測識別所有類型輿情事件,也實現了一個大模型替換n個用戶畫像模型甄別輿情事件制造者是否涉及欺詐。
1.一種基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,s1中,聚合服務器將全局參數下發至數據參與者,數據參與者將模型參數和費舍爾信息上傳至聚合服務器。
3.根據權利要求2所述的基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,數據參與者利用全局參數在私域范圍內進行模型訓練,數據參與者的訓練數據不共享。
4.根據權利要求2所述的基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,數據參與者利用全局參數在私域和公域范圍內進行模型訓練,私域數據不共享,公域數據共享。
5.根據權利要求1所述的基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,s2中,訓練輿情監測用戶畫像大模型包括以下步驟:s201、聚合服務器初始化輿情監測用戶畫像大模型參數并下發到各個數據參與者;s202、各數據參與者采集私域用戶輿情語料;s203、參與單位對語料進行清洗、整理成符合輿情監測用戶畫像大模型訓練要求的結構化文檔數據;s204、數據參與者隨機抽取一定量的訓練數據進行標注,作為模型訓練樣本;s205、數據參與者使用transform架構在單位內部訓練本地樣本數據;s206、數據參與者獲得本地大模型參數并計算費舍爾信息;s207、數據參與者上傳大模型參數和費舍爾信息到聚合服務器;s208、聚合服務器進行聯邦決議全局費舍爾信息;s209、聚合服務器根據費舍爾信息整合各數據參與者上傳的本地大模型參數為全局大模型參數;s210、生成輿情監測用戶畫像大模型。
6.根據權利要求1所述的基于大模型實現負面輿情自動監測與反欺詐方法,其特征在于,s3中,輿情監測和反欺詐包括以下步驟:s301、實時采集互聯網或公司內部用戶投訴和評論輿情語料;s302、對語料進行清洗、整理成符合輿情監測用戶畫像大模型訓練要求的結構化文檔數據;s303、輸入輿情監測用戶畫像大模型進行處理;s304、判斷當前評論是否構成輿情事件,否,則回到步驟s301繼續循環;是,則跳轉到下一步繼續執行;s305、判斷輿情事件是否包含欺詐性質;s306、如輿情信息只是某個熱點事件,不會對用戶造成財產經濟損失,則同步公關部門關注;s307、如輿情信息會對用戶造成財產經濟損失,則固定證據并同步法務部門。