本發明屬于數字媒體領域，涉及一種面向圖像檢索的對象級深度特征聚合方法。

背景技術：

基于內容的圖像檢索作為計算機視覺領域的一個重要研究問題，在過去的十年里受到國內外學者的廣泛關注。基于內容的圖像檢索是指從圖像數據庫中查找出與查詢圖像相似的圖像。因為拍攝時角度、距離、環境等因素的不同，會造成相似或相同的拍攝對象在不同圖像有著很大的變化，如尺度、視角、布局等變化。因此生成一個對各種圖像變化具有高魯棒性的圖像特征，是解決圖像檢索問題的關鍵。

相對于傳統的基于人工設計的圖像特征，基于學習的方法尤其是卷積神經網絡已經在圖像特征提取上顯示出的強大的能力,在圖像分類和目標檢測等計算機視覺任務上取得了巨大的成功。在圖像檢索問題中，目前有基于全局和基于局部兩種卷積神經網絡特征表示方法。

基于全局的方法，直接使用卷積神經網絡提取整幅圖像的特征，作為最終的圖像特征。但是因為卷積神經網絡主要對全局空間信息進行編碼，導致所得特征缺乏對圖像的尺度、旋轉、平移等幾何變換和空間布局變化的不變性，限制了其對于高度易變圖像檢索的魯棒性。

對于基于局部的方法，使用卷積神經網絡提取圖像局部區域的特征，然后聚合這些區域特征生成最終的圖像特征。雖然這些方法考慮到了圖像的局部信息，使得特征相對于全局方法對各類變化具有更高的魯棒性，但是這些方法中仍有一些缺陷。例如使用滑動窗口的方法來得到圖像區域(參考Yunchao Gong，Liwei Wang，Ruiqi Guo，Svetlana Lazebnik在European Conference on Computer Vision 2014年第392-407頁發表的文章“Multi-scale orderless pooling of deep convolutional activation features”)，因沒有考慮到圖像的顏色、紋理、邊緣等視覺內容，產生大量無語義意義的區域，為之后的聚合過程帶來冗余和噪聲信息。另外，區域特征融合通常所使用的最大池化算法(參考Konda Reddy Mopuri,R.Venkatesh Babu在Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2015年第62-70頁發表的文章“Object level deep feature pooling for compact image representation”)，因只保留了特征的最大響應而沒有考慮特征間的關聯，丟失大量信息，降低了所得的最終圖像特征的區分性。

本發明通過基于對象的方法來解決以上問題。在生成圖像區域時，使用基于內容的無監督對象生成方法，即通過圖像顏色、紋理、邊緣等視覺信息以聚類的方式來生成圖像區域。因為圖像中同一個語義對象會有一定的視覺相似性，這樣得到的圖像區域在很大概率上會包含一個對象或者對象的一部分。同時，一幅場景圖像通常是由一些對象構成，對這些對象的解析是理解場景的關鍵。因此基于內容生成的圖像區域相對于簡單的滑動窗口包含更多有語義意義的視覺信息，其特征描述也具有更高的區分性，同時基于對象特征進行融合，所得最終特征對場景中對象的空間布局變化也具有很好的魯棒性。在聚合特征的過程時，采用VLAD(Vector of Locally Aggregated Descriptors)算法，先將圖像區域特征進行聚類，然后統計一幅圖像中所有區域特征與其相近聚類中心的累積殘差來表示最終的圖像特征。相對于最大池化算法，該方法考慮了區域特征間關聯的同時對圖像的局部信息有更細致的刻畫，使得得到的最終圖像特征對各類圖像變換具有更高魯棒性。

技術實現要素：

針對現有技術的不足，本發明提供一種面向圖像檢索的對象級深度特征聚合方法，生成對圖像幾何變換和對象空間布局變化具有高魯棒性的圖像特征用于圖像檢索應用。

本發明的技術方案為：

一種面向圖像檢索的對象級深度特征聚合方法，包括以下步驟：

步驟1，對數據庫中的每一張圖像采用Selective Search算法提取候選區域，生成很可能包含物體的圖像候選區域。所述的Selective Search(Selective Search for Object Recognition)算法為一種利用視覺信息基于分層區域合并的圖像分割方法，能夠生成類獨立且高質量的多尺度候選區域。相對于滑動窗口，包含物體的候選區域的特征描述具有更高的區分性，同時基于對象的方式也能提高融合特征對空間布局變換的魯棒性。

步驟2，選擇被廣泛采用的卷積神經網絡結構模型，并在公共數據庫上對卷積神經網絡進行預訓練。

步驟3，采用訓練完成的卷積神經網絡提取所有圖像候選區域的特征

3.1)將圖像候選區域進行縮放填充到固定大小后，作為卷積神經網絡的輸入；

3.2)將卷積神經網絡的全連接層FC7的輸出作為該圖像候選區域的描述特征。

步驟4，對步驟3得到的候選區域的描述特征采用主成分分析算法進行降維，將其維度降為N維，得到低維候選區域特征；降維能夠減少之后計算的復雜度，提高效率。

步驟5，對步驟4得到的低維候選區域特征采用K均值聚類算法進行無監督聚類，聚成K個聚類中心。

步驟6，對步驟4得到的屬于同一張圖像的低維候選區域特征和步驟5得到的K個聚類中心，采用VLAD算法進行聚合，每張圖像得到一個維度為N*K維的VLAD特征。所述的VLAD(Vector of Locally Aggregated Descriptors)算法為基于統計的融合方法，其統計了區域特征與其相近聚類中心的累積殘差來表示最終的圖像特征；相對于簡單的池化算法，該算法對圖像內容具有更加細致的描述，生成的特征對圖像變換具有更高魯棒性。

步驟7，對步驟6得到的VLAD特征采用主成分分析算法進行降維，將其維度降為D維，生成簡潔的圖像特征。降維能夠減少相似度計算復雜度和噪聲，其中圖像間的相似度由圖像特征間的歐式距離來度量。

本發明的有益效果為生成的圖像特征具有對圖像幾何變換和空間布局變換的高魯棒性，極大地提高了圖像檢索的準確率，其次得到的圖像特征十分緊湊簡潔，減少了圖像間相似度計算的復雜度。

附圖說明

圖1為本發明深度特征聚合的流程圖。

圖2為圖像檢索結果的示意圖，最左圖為查詢圖像，其余圖像為檢索到的相似圖像，從左到右依次按照相似度由高到低排序。

具體實施方式

以下結合技術方案和附圖詳細敘述本發明的具體實施例。

實施例1：相似圖像的檢索

1.圖1為本發明的流程圖，首先對庫圖像的所有圖像使用Selective Search算法的快速模式進行候選區域的提取，平均每張圖像能夠得到約2000個尺寸不一的候選區域。

2.本發明采用Krizhevsky等人的卷積神經網絡結構Alex網絡，輸入為224*224的RGB圖像，包括五層卷積層、三層最大池化層和三層全連接層。使用Caffe框架訓練該網絡，訓練數據為ILSVRC12比賽中的1000類分類數據集。

3.網絡訓練完成后，將步驟1得到的候選區域通過填充和縮放到固定大小224*224后作為網絡的輸入，提取全連接層fc7的輸出作為對應候選區域的特征，其大小為4096維。

4.使用主成分分析算法對所有候選區域的特征進行降維，得到低維候選區域特征，其中相應的字典維度大小為512*4096，即將所有候選區域的特征維度從4096維降到512維。

5.使用K均值聚類算法對低維候選區域特征進行無監督聚類，聚成256個聚類中心{c₁，c₂，…，c₂₅₆}。

6.使用VLAD算法將每一張圖像的低維候選區域特征編碼為VLAD特征。首先，分配圖像中每一個低維候選區域特征p_j到離它最近的5個聚類中心rNN(p_j)，然后聚合所有低維候選區域特征減去其分配的聚類中心的殘差，得到x作為圖像的VLAD特征：

其中，j為一張圖像中候選區域的下標；p_j為下標為j的候選區域的低維特征；c₁、c_k分別為第一個和第K個聚類中心；rNN(p_j)為離p_j最近的5個聚類中心；w_j1、w_jk為p_j分別與c₁和c_k的高斯核相似度，代表對應聚類中心的權重，對每一個候選區域，標準化它到最近5個聚類中心的權重和為1。最終每張圖像得到相應的VLAD特征，其大小為512*256＝131072維。

7.使用主成分分析算法對步驟6得到的VLAD特征進行降維，得到簡潔的圖像特征，其中相應的字典維度為512*131072，即將VLAD特征的特征維度從131072維降到512維。

8.對于查詢圖像，使用步驟1生成候選區域，步驟3提取候選區域特征，然后使用已經在步驟4，5訓練完成的主成分分析算法字典和聚類中心，通過步驟6得到其對應的VLAD特征，最后使用步驟7訓練完成的主成分分析算法字典降維，得到512維的簡潔的圖像特征。

9.計算查詢圖像的特征和庫圖像的圖像特征間的歐氏距離，并按大小排序，距離值越小表示圖像間相似度越高。圖2為檢索的結果的示意圖。