本發(fā)明涉及智能監(jiān)控，特別涉及一種基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法及系統(tǒng)。

背景技術(shù)：

1、2015年至2023年，我國(guó)視頻監(jiān)控設(shè)備市場(chǎng)規(guī)模從近600億美元增加到1200億美元，翻了一番，增長(zhǎng)率近期保持在8％左右，市場(chǎng)趨于穩(wěn)定。城市治安、交通、政府項(xiàng)目、金融和商用等領(lǐng)域占據(jù)50％以上，展現(xiàn)出巨大發(fā)展?jié)摿ΑＷ鳛橐豁?xiàng)綜合性技術(shù)，視頻監(jiān)控不僅實(shí)現(xiàn)了對(duì)監(jiān)控現(xiàn)場(chǎng)的視頻采集、處理、控制和應(yīng)急指揮等功能，而且在安防、尋人以及社會(huì)賦能等領(lǐng)域都得到了廣泛應(yīng)用。在安防領(lǐng)域，視頻監(jiān)控系統(tǒng)有效地監(jiān)視和預(yù)防犯罪活動(dòng)，提高了社區(qū)和公共場(chǎng)所的安全性；在尋人方面，視頻監(jiān)控系統(tǒng)可以用于失蹤人員的搜索和救援，提高了搜救效率和準(zhǔn)確性。同時(shí)，視頻監(jiān)控技術(shù)為社會(huì)各領(lǐng)域提供數(shù)據(jù)支持和智能決策，為城市管理、交通管理、環(huán)境監(jiān)測(cè)等提供了重要支持，從而為社會(huì)賦能。

2、然而，傳統(tǒng)的智能監(jiān)控系統(tǒng)通常依賴(lài)于位于云端或數(shù)據(jù)中心的集中人工智能功能來(lái)學(xué)習(xí)和分析公民或特定人員的身份和行為。隨著現(xiàn)代攝像頭視頻流數(shù)據(jù)量的急劇增長(zhǎng)，這種集中式解決方案在通信延遲方面效率不高，無(wú)法實(shí)現(xiàn)高可用性和低成本，導(dǎo)致高價(jià)值的監(jiān)控?cái)?shù)據(jù)離散地分布于各個(gè)邊緣設(shè)備，形成數(shù)據(jù)孤島壁壘。此外，各個(gè)邊緣設(shè)備收集到的監(jiān)控?cái)?shù)據(jù)通常涉及到公民生活習(xí)慣、個(gè)人信息等隱私問(wèn)題，一旦泄露將會(huì)對(duì)公民的人身財(cái)產(chǎn)安全帶來(lái)極大隱患。未來(lái)，隨著攝像頭所屬機(jī)構(gòu)性質(zhì)和視頻數(shù)據(jù)分布的變化，集中式機(jī)器學(xué)習(xí)架構(gòu)將不再適用。在這種背景下，聯(lián)邦學(xué)習(xí)作為一種分布式機(jī)器學(xué)習(xí)框架，可以讓多個(gè)設(shè)備協(xié)同訓(xùn)練機(jī)器學(xué)習(xí)模型，而不需要分享它們的原始數(shù)據(jù)，能夠有效應(yīng)用于智能監(jiān)控系統(tǒng)。但是，面對(duì)惡意用戶(hù)和多樣化攻擊手段的威脅，傳統(tǒng)的聯(lián)邦學(xué)習(xí)雖然可以解決智能監(jiān)控中的“數(shù)據(jù)孤島”問(wèn)題以獲得足夠數(shù)據(jù)集支撐模型準(zhǔn)確度，但是無(wú)法確保整個(gè)聯(lián)合建模過(guò)程的數(shù)據(jù)安全。基于聯(lián)邦學(xué)習(xí)框架的上述需求，并根據(jù)目前智能監(jiān)控系統(tǒng)在實(shí)際應(yīng)用中所面臨的實(shí)際問(wèn)題，本發(fā)明旨在對(duì)其進(jìn)行需求分析，主要涵蓋以下幾個(gè)方面：

3、(1)不同區(qū)域部署的攝像頭收集的監(jiān)控?cái)?shù)據(jù)呈現(xiàn)非獨(dú)立同分布特征。

4、對(duì)于傳統(tǒng)的聯(lián)邦學(xué)習(xí)而言，假設(shè)客戶(hù)端數(shù)據(jù)是獨(dú)立同分布的，但在監(jiān)控場(chǎng)景中，不同攝像頭部署的區(qū)域不同，其收集到的監(jiān)控?cái)?shù)據(jù)在數(shù)據(jù)分布上往往呈現(xiàn)出非獨(dú)立同分布(non-independent?and?identically?distributed,non-iid)特征。這種情況下，基于不同監(jiān)控?cái)?shù)據(jù)訓(xùn)練得到的智能模型存在較大差異，導(dǎo)致全局模型收斂困難。因此，急需一種能夠處理數(shù)據(jù)異構(gòu)性的聯(lián)邦學(xué)習(xí)算法，解決跨域智能監(jiān)控系統(tǒng)的聯(lián)合建模難題。

5、(2)存在先進(jìn)的隱私攻擊和中毒攻擊威脅。

6、在智能監(jiān)控系統(tǒng)中采用聯(lián)邦學(xué)習(xí)架構(gòu)可能面臨隱私攻擊與投毒攻擊的威脅，這可能對(duì)系統(tǒng)的安全性和性能造成嚴(yán)重影響。具體為：

7、①現(xiàn)有的模型逆向、模型提取等攻擊手段可以根據(jù)聯(lián)邦學(xué)習(xí)傳輸?shù)哪Ｐ蛥?shù)推測(cè)出原始訓(xùn)練數(shù)據(jù)的隱私信息，這意味著基于聯(lián)邦學(xué)習(xí)的智能監(jiān)控依然存在隱私泄露風(fēng)險(xiǎn)。

8、②在聯(lián)邦學(xué)習(xí)這種分布式框架下，任何一個(gè)參與聯(lián)邦學(xué)習(xí)的基站都有可能會(huì)是惡意節(jié)點(diǎn)，向聯(lián)邦學(xué)習(xí)系統(tǒng)上傳具有誤導(dǎo)性數(shù)據(jù)的樣本，例如操縱圖像或視頻數(shù)據(jù)以引導(dǎo)模型做出錯(cuò)誤的識(shí)別或預(yù)測(cè)。這可能導(dǎo)致監(jiān)控系統(tǒng)對(duì)特定對(duì)象、事件或行為的識(shí)別錯(cuò)誤，降低系統(tǒng)的可信度和準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決聯(lián)邦學(xué)習(xí)在非獨(dú)立同分布數(shù)據(jù)下難以正常收斂，還存在隱私攻擊和中毒攻擊威脅問(wèn)題，提出一種基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法及系統(tǒng)，設(shè)計(jì)聚類(lèi)聯(lián)邦學(xué)習(xí)架構(gòu)抵抗非獨(dú)立同分布數(shù)據(jù)的影響，設(shè)計(jì)基于線性同態(tài)加密的魯棒聚合策略，有效抵抗投毒攻擊和隱私攻擊，保證數(shù)據(jù)安全保密性。

2、為實(shí)現(xiàn)上述目的，所采取的技術(shù)方案是：

3、一種基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，包含以下五個(gè)階段：

4、初始化階段：由密鑰生成中心為云服務(wù)器和每個(gè)基站生成非對(duì)稱(chēng)密鑰對(duì)，云服務(wù)器生成加密的初始化全局模型參數(shù)并發(fā)送給所有基站；

5、聚類(lèi)階段：云服務(wù)器通過(guò)重疊社團(tuán)檢測(cè)算法copra將擁有非獨(dú)立同分布數(shù)據(jù)的基站劃分為具有相似數(shù)據(jù)分布的多個(gè)簇，并選出每個(gè)簇中的領(lǐng)導(dǎo)節(jié)點(diǎn)；

6、簇內(nèi)安全訓(xùn)練階段：在每一輪訓(xùn)練中，每個(gè)基站基于本地監(jiān)控?cái)?shù)據(jù)訓(xùn)練得到梯度，將加密后的梯度上傳給所在簇的領(lǐng)導(dǎo)節(jié)點(diǎn)，由領(lǐng)導(dǎo)節(jié)點(diǎn)識(shí)別并過(guò)濾中毒梯度，然后執(zhí)行同步聚合，得到簇內(nèi)加密聚合梯度；

7、全局魯棒聚合階段：云服務(wù)器先解密簇內(nèi)加密聚合梯度，然后通過(guò)可用性權(quán)重對(duì)所有簇內(nèi)聚合梯度進(jìn)行加權(quán)聚合，獲得本輪訓(xùn)練的全局模型參數(shù)；

8、實(shí)時(shí)監(jiān)控階段：當(dāng)模型訓(xùn)練結(jié)束，各個(gè)基站得到一個(gè)收斂的智能監(jiān)控模型，將該模型下發(fā)至所覆蓋范圍內(nèi)的所有攝像頭，進(jìn)行實(shí)時(shí)智能監(jiān)控。

9、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，初始化階段密鑰生成中心生成線性同態(tài)加密的非對(duì)稱(chēng)密鑰對(duì)；基站接收到云服務(wù)器發(fā)送的加密的初始化全局模型參數(shù)后進(jìn)行解密，并基于本地監(jiān)控?cái)?shù)據(jù)進(jìn)行若干輪次的訓(xùn)練。

10、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，聚類(lèi)階段首先云服務(wù)器基于基站相似度鄰接矩陣構(gòu)造一個(gè)加權(quán)無(wú)向圖，圖中節(jié)點(diǎn)代表基站，每?jī)蓚€(gè)節(jié)點(diǎn)都有一條帶權(quán)邊，權(quán)重就是兩個(gè)基站數(shù)據(jù)分布的相似度；然后將上述加權(quán)無(wú)向圖作為輸入，利用copra算法發(fā)現(xiàn)圖中隱藏的社團(tuán)結(jié)構(gòu)；最終基站被劃分為不同的簇，每個(gè)簇內(nèi)的基站具有相似的數(shù)據(jù)分布。

11、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，計(jì)算基站間相似度方法是：由每個(gè)基站向云服務(wù)器上傳各自的標(biāo)簽向量xk＝(x1,x2,…,xl)∈{0,1}l，其中xi＝1表示基站k的本地?cái)?shù)據(jù)集中有標(biāo)簽i；云服務(wù)器根據(jù)jaccard算法計(jì)算兩個(gè)基站的相似度。

12、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，選出每個(gè)簇中的領(lǐng)導(dǎo)節(jié)點(diǎn)包括：每個(gè)基站向云服務(wù)器上傳其資源參數(shù)，云服務(wù)器從每個(gè)簇中選舉出計(jì)算和通信能力最強(qiáng)的基站作為領(lǐng)導(dǎo)節(jié)點(diǎn)。

13、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，由領(lǐng)導(dǎo)節(jié)點(diǎn)識(shí)別并過(guò)濾中毒梯度包括：

14、給定簇k的一組梯度[[gk]]＝g1,g2,...,gn，首先領(lǐng)導(dǎo)節(jié)點(diǎn)通過(guò)在梯度[[gi]]上添加隨機(jī)數(shù)[[r]]對(duì)其進(jìn)行掩碼保護(hù)，并將[[gi]]·[[r]]發(fā)送給云服務(wù)器；然后云服務(wù)器接收到所有領(lǐng)導(dǎo)節(jié)點(diǎn)發(fā)送的密文后，使用自己的私鑰進(jìn)行解密，并計(jì)算出中位值后加密發(fā)回給所有領(lǐng)導(dǎo)節(jié)點(diǎn)，領(lǐng)導(dǎo)節(jié)點(diǎn)在密文上減去[[r]]，最終得到梯度中位值的密文；

15、對(duì)于每一個(gè)簇內(nèi)加密梯度，領(lǐng)導(dǎo)節(jié)點(diǎn)選擇隨機(jī)數(shù)噪聲將其作為加密梯度的冪指數(shù)進(jìn)行運(yùn)算得到di，同時(shí)將上述隨機(jī)數(shù)噪聲作為梯度中位值的密文的冪指數(shù)進(jìn)行運(yùn)算得到dmed；然后將di和dmed同時(shí)發(fā)送給云服務(wù)器；云服務(wù)器使用私鑰解密得到di和dmed，然后計(jì)算di和dmed的余弦相似度；云服務(wù)器將余弦相似度發(fā)送給領(lǐng)導(dǎo)者，由領(lǐng)導(dǎo)者將相似度低于閾值的梯度視為中毒梯度進(jìn)行丟棄。

16、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，執(zhí)行同步聚合得到簇內(nèi)加密聚合梯度包括：

17、每個(gè)基站維護(hù)一個(gè)簇列表，簇標(biāo)簽和隸屬度以元組(c,b)形式存儲(chǔ)在簇列表中，節(jié)點(diǎn)屬于簇c的概率由隸屬度b表示；當(dāng)計(jì)算簇k的加密聚合梯度時(shí)，首先簇內(nèi)每個(gè)基站的本地梯度所占的權(quán)重為該基站屬于簇k的隸屬度除以簇內(nèi)所有基站屬于簇k的隸屬度之和，然后領(lǐng)導(dǎo)節(jié)點(diǎn)將簇k內(nèi)所有基站的加密梯度與上述得到的權(quán)重進(jìn)行加權(quán)聚合，得到簇k對(duì)應(yīng)的加密聚合梯度。

18、根據(jù)本發(fā)明基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，進(jìn)一步地，云服務(wù)器通過(guò)可用性權(quán)重對(duì)所有簇內(nèi)聚合梯度進(jìn)行加權(quán)聚合，獲得本輪訓(xùn)練的全局模型參數(shù)，包括：

19、云服務(wù)器選擇與上一輪全局梯度余弦相似度最低的簇內(nèi)聚合梯度作為評(píng)估中毒梯度的比較基準(zhǔn)，然后計(jì)算每個(gè)簇內(nèi)聚合梯度與該基準(zhǔn)的余弦相似度，并計(jì)算可用性權(quán)重；云服務(wù)器以可用性權(quán)重對(duì)所有簇內(nèi)聚合梯度進(jìn)行加權(quán)聚合，得到本輪訓(xùn)練的全局模型參數(shù)，并將其下發(fā)給所有基站，基站利用該全局模型參數(shù)更新本地模型，從而進(jìn)入下一輪訓(xùn)練。

20、進(jìn)一步地，本發(fā)明還提出一種基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控系統(tǒng)，用于實(shí)現(xiàn)如上述的基于拜占庭魯棒性隱私保護(hù)聯(lián)邦學(xué)習(xí)的跨域智能監(jiān)控方法，包括：

21、密鑰生成中心：為云服務(wù)器和每個(gè)基站生成非對(duì)稱(chēng)密鑰對(duì)；

22、攝像頭：實(shí)時(shí)收集監(jiān)控?cái)?shù)據(jù)，并將監(jiān)控?cái)?shù)據(jù)上傳給鄰近的基站；攝像頭接收基站下發(fā)的智能監(jiān)控模型；

23、基站：負(fù)責(zé)收集所覆蓋范圍內(nèi)的攝像頭的監(jiān)控?cái)?shù)據(jù)，并在云服務(wù)器的協(xié)調(diào)下，與其它基站協(xié)作訓(xùn)練智能監(jiān)控模型。

24、云服務(wù)器：協(xié)助基站識(shí)別中毒梯度，負(fù)責(zé)接收基站提交的合法梯度，并執(zhí)行最終的全局聚合。

25、采用上述技術(shù)方案，所取得的有益效果是：

26、1、本發(fā)明設(shè)計(jì)聚類(lèi)聯(lián)邦學(xué)習(xí)架構(gòu)，有效解決聯(lián)邦學(xué)習(xí)在非獨(dú)立同分布數(shù)據(jù)下難以正常收斂的難題。

27、本發(fā)明將聯(lián)邦學(xué)習(xí)中基站數(shù)據(jù)分布間的相似性抽象為一種網(wǎng)絡(luò)結(jié)構(gòu)，則節(jié)點(diǎn)就是參與聯(lián)邦學(xué)習(xí)的基站，用于收集所覆蓋范圍內(nèi)的攝像頭監(jiān)控?cái)?shù)據(jù)；邊就是基站之間的相似鏈接，節(jié)點(diǎn)之間隱藏的社團(tuán)結(jié)構(gòu)就是聚類(lèi)聯(lián)邦學(xué)習(xí)中的簇結(jié)構(gòu)。本發(fā)明通過(guò)引入經(jīng)典的重疊社團(tuán)檢測(cè)算法copra，該算法可以發(fā)現(xiàn)基站之間潛在的聚類(lèi)結(jié)構(gòu)，將數(shù)據(jù)分布相近的基站聚為一類(lèi)，從而有效解決聯(lián)邦學(xué)習(xí)難以收斂的問(wèn)題，同時(shí)有助于中毒攻擊的檢測(cè)。

28、2、本發(fā)明設(shè)計(jì)基于線性同態(tài)加密的魯棒聚合策略，有效抵抗投毒攻擊和隱私攻擊，保證數(shù)據(jù)安全保密性。

29、為增強(qiáng)智能監(jiān)控系統(tǒng)的安全穩(wěn)定性，由可信的密鑰生成中心為云服務(wù)器和基站生成不同的密鑰對(duì)，以確保通信的安全性。每個(gè)基站在本地進(jìn)行訓(xùn)練，得到梯度，并利用paillier同態(tài)加密算法將梯度轉(zhuǎn)換為密文，領(lǐng)導(dǎo)者接收到加密梯度后與云服務(wù)器配合執(zhí)行安全中位值算法、安全余弦相似度算法和簇內(nèi)加權(quán)聚合算法，以檢測(cè)可能存在的惡意梯度，并完成簇內(nèi)的安全聚合。這一流程能夠有效抵御投毒攻擊，并保證數(shù)據(jù)的隱私性。