本發明涉及一種視頻圖像處理技術領域的方法，具體為一種基于自適應距離度量學習的跨攝像機行人再識別方法。

背景技術：

在鏡頭互不重疊的攝像機監控網絡中對指定目標行人進行匹配識別具有廣泛的應用前景，這一技術被稱為跨攝像機行人再識別，它是智能監控系統中跨攝像機目標跟蹤及行為分析的基礎和前提條件。由于具有巨大的商業價值，因此跨攝像機行人再識別在近年來受到了廣泛的關注和研究。跨攝像機行人再識別研究中的重點和難點在于攝像機之間的光照、視角差異以及行人本身的姿態變化和遮擋情況變化。除此之外，低分辨率監控視頻使得人臉等信息在大多數情況下不再適用。

為了克服上述問題，很多研究者希望能設計出對跨攝像機視覺變化魯棒性高的特征。然而，由于現實場景中攝像機間的差異存在很強的不確定性，行人的姿態也存在諸多變數，找出一個對所有這些變化魯棒性強但又能有效分辨不同行人的特征實屬困難。因此，距離度量學習被引入到跨攝像機行人再識別問題中來。具體來說，距離度量學習將已經標注的行人樣本對(正樣本對表示兩張圖片屬于同一行人，負樣本對表示兩張圖片屬于不同行人)作為訓練集合，通過對訓練集合上樣本對之間的距離進行優化，學習得到一個距離度量矩陣，可以將所有樣本投影到一個新的特征空間，在這個特征空間里，正樣本對之間的相互距離較小，而負樣本對之間的相互距離較大。例如鄭偉詩等人于2012年在《ieeetransactionsonpatternanalysisandmachineintelligence》(國際電氣與電子工程師協會模式分析與機器智能學報)發表的論文“reidentificationbyrelativedistancecomparison”(基于相對距離比較的跨攝像機行人匹配)利用訓練樣本學習得到最優的概率相對距離度量標準，并用此標準來對數據庫中的其它圖片進行距離度量。通過把特征映射到公共空間，距離度量學習可以在一定程度上解決不同攝像機之間的差異性問題。然而，現有距離度量學習算法通常在訓練過程中平等地對待所有樣本，沒有考慮不同樣本之間的差異性。由于不同的樣本在原始特征空間上具有不同的可區分性，因此對于距離度量學習的重要程度實質上是不同的。

技術實現要素：

針對上述現有技術的不足，本發明提供一種基于自適應距離度量學習的跨攝像機行人再識別方法，能夠根據訓練樣本原始特征空間上的分布情況對樣本進行自適應分類和加權，使得不同的樣本能在距離度量學習的過程中起到不同的作用，從而訓練得到判別性更強的距離度量函數。

為實現上述目的，本發明首先利用訓練集中來自不同攝像機的行人圖片構成樣本對，為距離度量學習提供約束；然后根據訓練樣本在原始特征空間中的可區分性為不同的樣本對自適應性地分配訓練權重；接著采用加速近端梯度算法對距離度量學習的目標函數進行求解，得到馬氏距離度量矩陣；最后將學習得到的距離度量矩陣代入馬氏距離度量函數，并計算測試階段行人圖片特征向量之間的馬氏距離，得到相似性排序結果。

本發明方法通過以下具體步驟實現：

基于自適應距離度量學習的跨攝像機行人再識別方法，包括以下步驟：

步驟1：輸入距離度量學習的訓練數據，將不同攝像機下的行人圖片分別表示為查詢集和候選集其中是第i張查詢圖片和第j張候選圖片的特征向量，而和為對應行人的身份標簽，n為訓練階段查詢集的圖片總數，m為訓練階段候選集的圖片總數；

步驟2：選取查詢集中的查詢圖片xi和候選集中的候選圖片yj構成樣本對(xi,yj)，為樣本對分配二分類標簽zij，其中當時zij＝1，(xi,yj)被稱為正樣本對，而當時zij＝-1，(xi,yj)被稱為負樣本對；定義任意樣本對(xi,yj)之間的馬氏距離度量函數為：

其中m為馬氏距離中的距離度量矩陣；

步驟3：利用logistic損失函數為訓練集中的每一樣本對(xi,yj)建立距離度量學習的損失函數：

其中ξ為訓練集中所有樣本對特征向量之間的歐式距離均值，當(xi,yj)為正樣本對時，損失函數約束馬氏距離dm(xi,yj)小于而當(xi,yj)為負樣本對時，損失函數約束馬氏距離dm(xi,yj)大于

步驟4：同時考慮訓練集中所有樣本對之間的損失函數約束，定義自適應距離度量學習的總體目標函數為：

步驟5：根據訓練樣本的差異性，為不同樣本對的損失函數ψ(xi,yj)分配不同的訓練權重wij，使自適應距離度量學習的目標函數變為：

步驟6：根據目標函數，將自適應距離度量學習定義為如下優化問題：

步驟7：使用加速近端梯度算法求解步驟6中的優化問題，得到對應的距離度量矩陣m；

步驟8：在測試階段，對于給定的查詢模板圖片的特征向量x^p和其它攝像機下可疑行人目標構成的候選圖片的特征向量組n為測試階段候選集的圖片總數，將距離度量矩陣m代入步驟2中的馬氏距離度量函數，分別計算x^p與每張候選圖片的特征向量之間的馬氏距離并按照馬氏距離大小對候選圖片進行排序，使與x^p馬氏距離較小的候選圖片排在隊列的前端。

進一步的：步驟5中所述的根據訓練樣本的差異性，為不同樣本對的損失函數ψ(xi,yj)分配不同的訓練權重wij，具體實現過程為：

步驟5.1：對于訓練集中的查詢圖片的特征向量xi，計算候選集中所有候選圖片特征向量與xi在歐式空間的特征距離，然后按照距離從小到大的順序對中的圖片進行排序；

步驟5.2：根據步驟5.1中的排序結果，將候選集劃分成對于xi的困難集合中等集合以及簡單集合

困難集合的定義為：

公式中，ri(yj)表示候選圖片yj在步驟5.1得到的排序隊列中的位置，而則表示xi在候選集中的正確匹配y⁺在排序隊列中的位置；

中等集合的定義為：

其中m為候選集中行人圖片數量的總數，也即步驟5.1中排序隊列的總長度；

簡單集合的定義為：

步驟5.3：根據步驟5.2中候選集的劃分結果，為樣本對(xi,yj)的損失函數自適應分配訓練權重wij；當(xi,yj)為正樣本對時，將ψ(xi,yj)的訓練權重wij設為1/n⁺，其中n⁺為訓練集中正樣本對的總數；而當(xi,yj)為負樣本對時，通過下式定義其損失函數ψ(xi,yj)的訓練權重wij：

其中，n^-表示訓練集中權重不為零的負樣本對總數，β1和β2為調節訓練權重變化范圍的平衡參數。

進一步的：步驟7中所述的使用加速近端梯度算法求解步驟6中的優化問題，得到對應的距離度量矩陣m，其具體包括以下步驟：

步驟7.1：初始化m0和m-1為單位矩陣，并對其進行迭代更新；

步驟7.2：具體地，對于第t次迭代，首先計算聚合前向矩陣st：

其中系數在第一次迭代時被設為0；

步驟7.3：定義矩陣其中是距離度量學習的總體目標函數ψ(m)在st處的梯度，ηt為迭代步長；

步驟7.4：對矩陣pt進行特征值分解，將其表示為然后對第t次迭代的距離度量矩陣m進行更新，得到迭代結果mt：

其中用于確保距離度量矩陣mt是半正定的；

步驟7.5：重復步驟7.2至7.4，直至達到收斂條件：

步驟7.6：返回收斂時的mt作為自適應距離度量學習的訓練結果m。

與現有技術相比，本發明的有益效果如下：

1)本發明根據訓練樣本在原始特征空間上的可區分性對樣本對進行自適應性的分類和加權，相比于現有距離度量學習技術在訓練過程中平等地對待所有訓練樣本，本發明能夠更好地利用訓練樣本之間的差異性；

2)本發明通過將部分樣本對的訓練權重設置為零，舍去了訓練集中部分原始特征空間中容易區分的負樣本，不僅有效緩解了行人再識別問題中負樣本對過多的問題，還減少了訓練過程中的計算量；

3)本發明能夠利用訓練樣本的標注信息，學習得到特定的馬氏距離度量函數，使同一行人的圖片特征距離較近，而不同行人圖片的特征距離較遠，有效克服了不同攝像機之間的差異對跨攝像機行人再識別的影響。

附圖說明

圖1為本發明基于自適應距離度量學習的跨攝像機行人再識別方法整體流程示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及具體實施例，對本發明的技術方案做進一步的詳細說明。

以下實施例在以本發明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護范圍不限于下述的實施例。

實施例

本實施例通過將攝像機a中出現過的行人作為目標，并在與攝像機a不存在重疊視域的攝像機b中尋找與行人目標最相似的可疑行人對象，以完成跨攝像機行人再識別，在本發明的實施例中，該方法包括以下步驟：

步驟1：輸入距離度量學習的訓練數據，將攝像機a中出現過的行人圖片集合定義為查詢集而將攝像機b中出現過的行人圖片集合候選集其中是第i張查詢圖片和第j張候選圖片的特征向量，而和為對應行人的身份標簽。n為訓練階段查詢集的圖片總數，m為訓練階段候選集的圖片總數；

步驟2：選取查詢集中的查詢圖片xi和候選集中的候選圖片yj構成樣本對(xi,yj)，為樣本對分配二分類標簽zij，其中當時zij＝1，(xi,yj)被稱為正樣本對，而當時zij＝-1，(xi,yj)被稱為負樣本對。定義任意樣本對(xi,yj)之間的馬氏距離度量函數為：

其中m為馬氏距離中的距離度量矩陣。

步驟3：利用logistic損失函數為訓練集中的每一樣本對(xi,yj)建立距離度量學習的損失函數：

其中ξ為訓練集中所有樣本對特征向量之間的歐式距離均值。當(xi,yj)為正樣本對時，損失函數約束馬氏距離dm(xi,yj)小于而當(xi,yj)為負樣本對時，損失函數約束馬氏距離dm(xi,yj)大于

步驟4：同時考慮訓練集中所有樣本對之間的損失函數約束，定義自適應距離度量學習的總體目標函數為：

步驟5：根據訓練樣本的差異性，為不同樣本對的損失函數ψ(xi,yj)分配不同的訓練權重wij，使自適應距離度量學習的目標函數變為：

在本實施例中，步驟5所述的根據訓練樣本的差異性，為不同樣本對的損失函數ψ(xi,yj)分配不同的訓練權重wij，其具體實現過程如下：

步驟5.1：對于訓練集中的查詢圖片的特征向量xi，計算候選集中所有候選圖片特征向量與xi在歐式空間的特征距離，然后按照距離從小到大的順序對中的圖片進行排序；

步驟5.2：根據步驟5.1中的排序結果，將候選集劃分成對于xi的困難集合中等集合以及簡單集合

困難集合的定義為:

公式中，ri(yj)表示候選圖片yj在步驟5.1得到的排序隊列中的位置，而則表示xi在候選集中的正確匹配y⁺在排序隊列中的位置。

中等集合的定義為：

其中m為候選集中行人圖片數量的總數，也即步驟5.1中排序隊列的總長度。

簡單集合的定義為：

步驟5.3：根據步驟5.2中候選集的劃分結果，為樣本對(xi,yj)的損失函數自適應分配訓練權重wij。當(xi,yj)為正樣本對時，將ψ(xi,yj)的訓練權重wij設為1/n⁺，其中n⁺為訓練集中正樣本對的總數。而當(xi,yj)為負樣本對時，通過下式定義其損失函數ψ(xi,yj)的訓練權重wij：

其中，n^-表示訓練集中權重不為零的負樣本對總數，β1和β2為調節訓練權重變化范圍的平衡參數，在本實施例中β1＝0.75而β2＝0.25。

步驟6：根據目標函數，將自適應距離度量學習定義為如下優化問題：

步驟7：使用加速近端梯度算法求解步驟6中的優化問題，得到對應的距離度量矩陣m。

在本實施例中，步驟7中所述的使用加速近端梯度算法求解步驟6中的優化問題，得到對應的距離度量矩陣m，其具體實現步驟如下：

步驟7.1：初始化m0和m-1為單位矩陣，并對其進行迭代更新；

步驟7.2：具體地，對于第t次迭代，首先計算聚合前向矩陣st：

其中系數在第一次迭代時被設為0；

步驟7.3：定義矩陣其中是距離度量學習的目標函數ψ(m)在st處的梯度，ηt為迭代步長；在本實施例中，ηt在每次迭代時被初始化為2⁸，并檢查下列條件是否滿足：

其中<·,·>表示矩陣的內積，||·||f表示矩陣的frobenius范數，當上式中的條件滿足時，使用ηt作為迭代步長；否則用ηt/2替換ηt，直至條件滿足；

步驟7.4：對矩陣pt進行特征值分解，將其表示為然后對第t次迭代的距離度量矩陣m進行更新，得到迭代結果mt：

其中用于確保距離度量矩陣mt是半正定的；

步驟7.5：重復步驟7.2至7.4，直至達到收斂條件：

步驟7.6：返回收斂時的mt作為自適應距離度量學習的訓練結果m。

步驟8：在得到距離度量矩陣m之后，對于攝像機a中出現過的任意行人目標模板圖片，提取其特征向量x^p，同時將攝像機b中出現過的身份未知的行人圖片集合定義為候選集，提取每張候選圖片的特征向量，組成特征向量組n為測試階段候選集的圖片總數。將步驟7中求得的距離度量矩陣m代入步驟2中的馬氏距離度量函數，分別計算x^p與每張候選圖片的特征向量之間的馬氏距離并按照馬氏距離大小對候選圖片進行排序，使與x^p馬氏距離較小的候選圖片排在隊列的前端。最終，排序越靠前的候選圖片越有可能是行人目標在攝像機b中的正確匹配。

以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。