本發(fā)明涉及人工智能安全，尤其涉及一種基于注意力機(jī)制的人臉識(shí)別擴(kuò)散去噪防御方法。

背景技術(shù)：

1、現(xiàn)在有的基于gan的對抗樣本防御方法普遍存在訓(xùn)練過程不穩(wěn)定，容易出現(xiàn)模式崩潰的問題，無法滿足在實(shí)際應(yīng)用中的效能和可靠性。訓(xùn)練gan是一個(gè)復(fù)雜的過程，它涉及到兩個(gè)神經(jīng)網(wǎng)絡(luò)：生成器和判別器之間的動(dòng)態(tài)博弈。這種博弈要求兩者在訓(xùn)練過程中保持適當(dāng)?shù)钠胶猓欢?，在?shí)踐中，維持這一平衡相當(dāng)困難，導(dǎo)致訓(xùn)練過程不穩(wěn)定。不平衡的訓(xùn)練可能導(dǎo)致生成器無法學(xué)習(xí)到數(shù)據(jù)的真實(shí)分布，從而產(chǎn)生低質(zhì)量或重復(fù)性的樣本。

2、現(xiàn)有的基于擴(kuò)散模型的對抗樣本防御方法需要針對不同數(shù)據(jù)集多次調(diào)整噪聲強(qiáng)度以達(dá)到最佳的防御去噪效果，這一過程不僅復(fù)雜，而且極其耗時(shí)，因?yàn)槔硐氲脑肼晱?qiáng)度并非一成不變，而是高度依賴于具體的數(shù)據(jù)集特征、對抗攻擊的形式以及所期望的防御效果。

3、現(xiàn)有的對抗樣本去噪方法普遍采用全面覆蓋式的策略，即對整個(gè)圖像進(jìn)行統(tǒng)一的去噪處理。然而，這種方法忽視了對抗攻擊的一個(gè)關(guān)鍵特征：攻擊通常集中在圖像的特定區(qū)域而非均勻分布在整個(gè)圖像上。這些重點(diǎn)攻擊區(qū)域往往是攻擊者精心挑選出來的，因?yàn)樗鼈儗τ谀Ｐ偷淖罱K分類決策具有決定性的影響。因此，當(dāng)去噪過程未能針對性地識(shí)別并處理這些關(guān)鍵區(qū)域時(shí)，整體防御性能便會(huì)受到限制。

4、lpips損失(learned?perceptualimagepatch?similarity,學(xué)習(xí)感知圖像塊相似度)，是一種衡量圖像相似度的方法，lpips使用預(yù)訓(xùn)練的深度網(wǎng)絡(luò)(如vgg、alexnet)來提取兩張圖像的多層特征，然后計(jì)算兩張圖像在對應(yīng)層特征之間的距離，以評估圖像之間的感知相似度。

5、fid分?jǐn)?shù)（frechet?lnception?distance?score）是一種用于評估生成模型性能的指標(biāo)，特別是在評估圖像生成模型時(shí)應(yīng)用廣泛。它衡量的是生成圖像分布與真實(shí)圖像分布之間的差異，特別是通過使用一個(gè)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)（通常是?inception?v3）提取的特征來進(jìn)行比較。一般來說，fid分?jǐn)?shù)越低，表示生成的圖像與真實(shí)圖像的分布越接近，模型的生成性能越好。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就在于提供一種解決上述模型訓(xùn)練不穩(wěn)定、防御時(shí)間較長以及防御后干凈樣本識(shí)別率下降等問題的，一種基于注意力機(jī)制的人臉識(shí)別擴(kuò)散去噪防御方法。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是這樣的：一種基于注意力機(jī)制的人臉識(shí)別擴(kuò)散去噪防御方法，包括以下步驟；

3、s1，獲取數(shù)據(jù)集x，包括干凈樣本集xclean和對抗樣本集xadv，xclean中干凈樣本xclean和xadv中對抗樣本x0一一對應(yīng)；

4、s2，構(gòu)造人臉識(shí)別擴(kuò)散去噪網(wǎng)絡(luò)，包括預(yù)訓(xùn)練的人臉識(shí)別模型、條件去噪擴(kuò)散模型、注意力模型；

5、所述人臉識(shí)別模型包括特征提取網(wǎng)絡(luò)，用于對輸入圖像進(jìn)行特征提取得到深度特征；

6、所述條件去噪擴(kuò)散模型，包括前向加噪過程與逆向生成過程；

7、所述前向加噪過程用于向?qū)箻颖緓0中逐時(shí)間步添加噪聲，生成每個(gè)時(shí)間步對應(yīng)的加噪圖像，其中時(shí)間步t的加噪圖像為xt，1≤t≤t，t為最佳擴(kuò)散步長；

8、所述逆向生成過程基于條件引導(dǎo)，從xt中逐時(shí)間步去除噪聲，時(shí)間步t生成去噪圖像，最終得到的去噪圖像作為去噪樣本，所述根據(jù)下式得到；

9、，

10、式中，、、分別為時(shí)間步t的均值函數(shù)、方差函數(shù)、標(biāo)準(zhǔn)差函數(shù)；為特征提取網(wǎng)絡(luò)提取的深度特征，λ為超參數(shù)，為范數(shù)，?為隨機(jī)噪聲，為標(biāo)準(zhǔn)正態(tài)分布；

11、所述注意力模型用于從去噪樣本和干凈樣本xclean中提取對應(yīng)的注意力圖、；

12、s3，構(gòu)造人臉識(shí)別擴(kuò)散去噪網(wǎng)絡(luò)的總損失ltotal；

13、，

14、，

15、式中，lattention為注意力損失；l1為對抗樣本和去噪樣本間的l1損失、llpips為對抗樣本和去噪樣本間的lpips損失，為計(jì)算均方誤差，λ1、λ2分別為第一權(quán)重超參數(shù)、第二權(quán)重超參數(shù)；

16、s4，根據(jù)最佳擴(kuò)散步長t、用數(shù)據(jù)集x以最小化ltotal訓(xùn)練人臉識(shí)別擴(kuò)散去噪網(wǎng)絡(luò)至收斂，得到人臉識(shí)別擴(kuò)散去噪模型；

17、s5，獲取待凈化的對抗樣本，基于人臉識(shí)別擴(kuò)散去噪模型生成對應(yīng)的去噪樣本。

18、作為優(yōu)選，所述注意力模型采用梯度積分法提取注意力圖，具體包括步驟sa1~sa3；

19、sa1，選擇一深度網(wǎng)絡(luò)f、一全黑圖像作為基準(zhǔn)輸入xbaseline，將去噪樣本或干凈樣本作為實(shí)際輸入x；

20、sa2，x中第i個(gè)像素點(diǎn)的歸因值igi(x)根據(jù)下式得到；

21、，

22、為插值參數(shù)、為xbaseline中第i個(gè)像素點(diǎn)的rgb值、xi為x中第i個(gè)像素點(diǎn)的rgb值，為深度網(wǎng)絡(luò)；

23、sa3，用第i個(gè)像素點(diǎn)的歸因值，替換實(shí)際輸入x中第i個(gè)像素的rgb值，得到x的注意力圖。

24、作為優(yōu)選，所述l1、llpips分別根據(jù)下式計(jì)算；

25、，

26、式中，n為對抗樣本x0中像素點(diǎn)總數(shù)，為對抗樣本中第n個(gè)像素點(diǎn)，為去噪樣本中第n個(gè)像素點(diǎn)；

27、，

28、式中，llpips由多層特征提取網(wǎng)絡(luò)提取x0和的特征圖后計(jì)算得到，hl、wl分別為第l層特征提取網(wǎng)絡(luò)提取的特征圖的總高度和總寬度，wl為第l層特征提取網(wǎng)絡(luò)的權(quán)重，為x0經(jīng)第l層特征提取網(wǎng)絡(luò)的特征圖在高度h、寬度w的特征值，為經(jīng)第l層特征提取網(wǎng)絡(luò)的特征圖在高度h、寬度w的特征值，1≤h≤h，1≤w≤w，為逐元素相乘操作，為l2范數(shù)。

29、作為優(yōu)選，s4中，訓(xùn)練人臉識(shí)別擴(kuò)散去噪網(wǎng)絡(luò)具體為；

30、預(yù)設(shè)迭代輪次和批次大小，將數(shù)據(jù)集x按批次大小輸入人臉識(shí)別擴(kuò)散去噪網(wǎng)絡(luò)中，每批次計(jì)算一總損失ltotal，并反向傳播調(diào)整條件去噪擴(kuò)散模型的網(wǎng)絡(luò)參數(shù)，直至得到迭代輪次。

31、作為優(yōu)選，所述最佳擴(kuò)散步長t通過步驟sb1~sb4自適應(yīng)生成；

32、sb1，從干凈樣本集xclean和對抗樣本集xadv，分別抽樣出相同大小的子集和；

33、sb2，設(shè)定d個(gè)不同的步長t1~td，其中第d個(gè)步長為td，1≤d≤d；

34、sb3，令擴(kuò)散步長為td，對中對抗樣本，由條件去噪擴(kuò)散模型生成去噪樣本，構(gòu)成去噪數(shù)據(jù)集，并計(jì)算和的fid分?jǐn)?shù)；

35、sb4，t1~td對應(yīng)d個(gè)fid分?jǐn)?shù)，將fid分?jǐn)?shù)最小的步長作為最佳擴(kuò)散步長t。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

37、（1）本發(fā)明條件去噪擴(kuò)散模型進(jìn)行對抗樣本的去噪處理，在條件去噪擴(kuò)散模型訓(xùn)練過程中引入了圖像距離約束、圖像距離約束基于條件去噪擴(kuò)散模型中的和，可以保證去噪過程中二者在特征空間上的距離較小，從而保留圖像中的語義信息。通過引入圖像距離約束，條件去噪擴(kuò)散模型在訓(xùn)練過程中不僅學(xué)習(xí)如何還原圖像，還能控制重建誤差的大小，有助于提高去噪結(jié)果的質(zhì)量與穩(wěn)定性。

38、（2）本發(fā)明將注意力機(jī)制與條件去噪擴(kuò)散模型進(jìn)行結(jié)合，通過注意力模型去噪樣本和對抗樣本的關(guān)注區(qū)域（即注意力圖），來指導(dǎo)條件去噪擴(kuò)散模型生成更接近于干凈樣本的去噪結(jié)果。該方法利用注意力圖之間的差異作為監(jiān)督信號(hào)，促使條件去噪擴(kuò)散模型學(xué)習(xí)如何有效地去除圖像中的噪聲同時(shí)保留關(guān)鍵的身份特征信息，同時(shí)減少對干凈區(qū)域的破壞。能有效提高防御的準(zhǔn)確率，減小對干凈樣本的影響。

39、（3）還引入了圖像質(zhì)量約束，通過l1、llpips計(jì)算對抗樣本和去噪樣本的l1損失和lpips損失，對去噪樣本進(jìn)行約束，保證去噪圖像的視覺質(zhì)量，其中l(wèi)1損失用于對抗樣本和去噪樣本在像素維度上的相似度，確保兩者之間的像素級(jí)差異不會(huì)過大，從而維持去噪圖像的視覺一致性，lpips損失用于衡量對抗樣本和去噪樣本在感知層面的相似性，通過捕捉高層語義特征的差異，進(jìn)一步保留原始圖像的關(guān)鍵結(jié)構(gòu)和細(xì)節(jié)信息。

40、（4）使用自適應(yīng)擴(kuò)散步長選擇機(jī)制來縮短獲取最佳去噪結(jié)果的時(shí)間，該機(jī)制能夠根據(jù)數(shù)據(jù)集特征與對抗攻擊的形式計(jì)算最佳的擴(kuò)散步長，從而在保證去噪效果的同時(shí)大幅減少時(shí)間開銷。

41、（5）本發(fā)明對多種不同的對抗攻擊均表現(xiàn)出顯著的防御效果，并展現(xiàn)了出色的泛化能力，如fgsm、pgd、ata等對抗攻擊方法。并以即插即用的方式將其防御效能轉(zhuǎn)移到其他人臉識(shí)別模型，包括facenet、ir152、irse50等人臉識(shí)別模型。