基于鄰域與距離度量學習的圖像語義自動標注方法
【專利摘要】本發明提供一種基于鄰域與距離度量學習的圖像語義自動標注方法，包括通過引入變換矩陣，從訓練集中隨機取任意兩幅圖像求得距離度量；計算標注詞的先驗概率，對于訓練集中的每個圖像獲取鄰域，記錄訓練集中標注詞出現與不出現的次數，計算條件概率；對于測試集中的每個圖像獲取鄰域，通過計算圖像系數得到標準詞向量并輸出。本發明無需事先確定標注詞的個數比較現有技術智能化程度更高，標注結果更準確。而且，本發明的圖像鄰域完全是通過學習所獲得的距離度量得到的，精確度更高。
【專利說明】基于鄰域與距離度量學習的圖像語義自動標注方法

【技術領域】
[0001] 本發明涉及圖像檢索領域，特別涉及基于鄰域與距離度量學習的圖像語義自動標 注方法。

【背景技術】
[0002] 隨著網絡技術的飛速發展和數碼相機與移動設備的快速普及，越來越多的人能夠 方便地使用和傳輸數字圖像，使得圖像網站上數字圖像的數量得到指數性增長。如何在海 量圖像網站上有效地檢索圖像以便快速、有效地發現感興趣的圖像資源已經成為一個具有 挑戰性的任務。
[0003] 然而，作為圖像檢索的重要環節，圖像標注的性能決定著圖像檢索的效果。基于語 義的圖像檢索能夠有效地彌補基于文本和基于內容兩種圖像檢索方法的缺陷，使檢索結果 與用戶所需信息盡可能一致。
[0004] 利用語義檢索圖像時，人們通常通過圖像的高水平語義來檢索。已有的很多圖像 標注方法多采用低水平視覺特征來描述圖像，然而圖像的低水平視覺特征與圖像的高水平 語義之間存在鴻溝，因此，現存的很多圖像語義標注方法的性能并不令人滿意。
[0005] 當前，現存的圖像語義自動標注方法有一定的局限性。經過對現有技術的文獻檢 索發現，Zhixin Li 等 2011 年在 Patter Recognition Letters 上發表的論文 "Modeling continuous visual features for semantic image annotation and retrieval，'（面 向語義圖像標注和檢索的連續視覺特征建模，簡稱"文獻1"）中提出了一種圖像標注和檢 索方法，圖像標注詞個數是事先預定的。通過文獻檢索還發現，Songhao Zhu等2013年在 Journal of Visual Communication and Image Representation 上發表的論文 "Image annotation using high order statistics in non-Euclidean spaces，'（用于圖像標注 的非歐幾里得距離高階統計量，簡稱"文獻2"）中提到的圖像鄰域是由K近鄰方法構成的， 這導致對于每幅圖像，其鄰域中圖像的個數都是相同的。


【發明內容】

[0006] 本發明針對現有圖像語義標注方法性能的不足，提供了一種基于圖像語義的自動 標注方法。
[0007] 本發明的技術方案提供一種基于鄰域與距離度量學習的圖像語義自動標注方 法，：設訓練集Tr為有標注詞的圖像集合仏，。...，。，Nl為訓練集Tr中圖像個數，測 試集Te為無標注詞的圖像集合U1, 12, ...，IN2}，N2為測試集Te中圖像個數；任一幅圖像 I 由 M 個視覺特征 X1，X2, ? ? ?，Xm 表示成 M 維向量 I = (X1，X2, ? ? ?，xM)，L = {k" k2, ? ? ?，km} 是標注詞集合，每幅圖像I e Tr都與Fg ￡對應，Y= (y1，/，...^"1)，Y稱為圖像I的標 注詞向量；y3 = 1表示圖像I有標注詞kj，y3 = 0表示圖像I沒有標注詞kj，j的取值為 1，2, --?，!!!；訓練集表示為 Tr ={ (Iu, Yu) Iu = 1,2, ...Nl}，4 = =1 表 示第j個標注詞kj屬于圖像Iu，^ =0表示第j個標注詞kj不屬于圖像Iu，Yu為圖像Iu的 標注詞向量；
[0008] 執行以下步驟，
[0009] 步驟一，從訓練集中隨機取任意兩幅圖像Iu，I v e Tr，求得距離度量A (Iu，Iv)，實 現如下，
[0010] 令s = ATA，其中A是變換矩陣；對于訓練集中的任意兩幅圖像Iu，Iv G Tr，它們之 間的距離A (Iu，Iv)是

【權利要求】
1. 一種基于鄰域與距離度量學習的圖像語義自動標注方法，其特征在于：設訓練集Tr為有標注詞的圖像集合U1, 12, ...，IN1}，Nl為訓練集Tr中圖像個數，測試集Te為無標注 詞的圖像集合U1, 12,. . .，IN2}，N2為測試集Te中圖像個數；任一幅圖像I由M個視覺特征 X1，X2,. . .，Xm表示成M維向量I= (X1，X2,. . .，xM)，L={kpk2,. . .，km}是標注詞集合，每幅 圖像IeTr都與Fgi對應，Y= (y1，y2, . . .，ym)，Y稱為圖像I的標注詞向量；yj = 1表 示圖像I有標注詞=O表示圖像I沒有標注詞kj，j的取值為1，2,…，m;訓練集表示 為Tr= {(Iu,Yu)Iu= 1，2,…N1},Γκ = ,W=丨表示第j個標注詞kj屬于 圖像Iu，^ 表示第j個標注詞h不屬于圖像Iu，Yu為圖像Iu的標注詞向量； 執行以下步驟， 步驟一，從訓練集中隨機取任意兩幅圖像Iu，IveTr，求得距離度量Λ(Iu，Iv)，實現如 下， 令S=ATA，其中A是變換矩陣；對于訓練集中的任意兩幅圖像Iu，IveTr，它們之間的 距離Λ(Iu，Iv)是 Δ(IU,IV) = (IU,IV)TS(IU,IV) = (AIU,AIv)T (AIU,AIv) 其中，S=AtA是由變換矩陣A生成的度量矩陣，（Iu，Ιν)τ是圖像Iu與Iv向量之間歐幾 里得距離的轉置，AIu是A與Iu的內積，八^是八與Iv的內積，（AIU，AIv)是計算兩個內積AIU、 AIv的歐幾里得距離后所獲得的向量，（Iu，Iv)tS(Iu，Iv)是（Iu，Iv)T、S和（Iu，Iv)的內積； 圖像Iu選擇訓練集Tr中的另一圖像Iv作為自己近鄰的概率Puv按下式計算，
其中，w(I) =P2 (I)/P1⑴是待定向量，其中P1⑴和P2⑴分別是訓練集Tr和測試集Te的概率密度函數，Ik表示訓練集Tr中圖像Iu以外的任意圖像，則Iu、Ik相應的待定向量 W(Iv) =P2(Iv)A31(Iv)I(Ik) =P2(Ik)A31(Ik);記訓練集Tr中所有與Iu具有相同標注詞的 圖像集合為Qu，則Qu中的圖像都是圖像Iu的近鄰的概率？11是
概率Pu的加權均值f(A)如下， J-(A)^YdW(Iu)XogP ii U=-I 其中，Iu相應的待定向量W(Iu) =P2(Iu)ZiP1(Iu); 按下式計算f(A)的梯度I* QA
利用梯度下降法求得變換矩陣A，由此得到圖像距離Λ(Iu，Iv); 步驟二，對于標注詞heL和訓練集Tr中的每個圖像IueTr，按照下式分別計算標 注詞的先驗概率和0*}):
其中，Aj和分別表示標注詞Iij出現或不出現； 步驟三，對于訓練集Tr中的每個圖像IueTr，利用步驟一所獲得的距離度量Λ(Iu，Iv)，獲得Iu的鄰域S(Iu)，實現如下， δ(Iu) = {Iv|A(Iu,Iv) ^x,IveTr} 其中，τ是預設的鄰域半徑，τ>〇; 步驟四，對于標注詞heL，記錄訓練集Tr中標注詞kj出現與不出現的次數a」和bj; 步驟五，計算條件概率
其中，L是訓練集Tr中在圖像Iu的鄰域S(Iu)內有標注詞&的圖像的個數，M是圖 像視覺特征的個數； 步驟六，對于測試集Te中的任意圖像IueTe，獲得圖像Iu的鄰域δ(Iu)，實現如下， 首先，對于測試集中任意圖像IueTe，利用步驟一所獲得的距離度量Λ(Iu，Iv)，獲得 Iu的鄰域S(Iu)，實現如下， δ(Iu) = {Iv|MIU，Iv)彡τ，IveTe} 其中，τ是預設的鄰域半徑，τ>〇,Iv表示測試集Te中圖像Iu以外的任意圖像； 步驟七，通過計算圖像系數得到標準詞向量并輸出，實現如下， 對于每個標注詞heL，計算測試集中任一圖像IueTe的鄰域δ(Iu)內所包含的圖 像中有標注詞h的圖像系數<4,切:如果?(4，幼=|4/")|，則Jjf二1，其中IS(Iu)I表示 鄰域S(Iu)內所有圖像的數目；否則，如果</"為)=0，則W=〇;否則，按照下式計算 O^hnk)) =pik)Q；) = argmaxP(kZj)P(Ck k)) -JΓ€| +^? - J - 其中，八￥ |q,)為計算獲得的后驗概率， 如果新計算的ω(IU，kj) >λ，則4 =1，否則W;λ為預設閾值，λe(〇, 1)。
2.如權利要求1所述基于鄰域與距離度量學習的圖像語義自動標注方法，其特征在 于：步驟一中對于訓練集中任意兩幅圖像Iu，IveTr求得距離度量Λ(Iu，Iv)時， 對w(I)進行如下建模
其中，β=(ββ2, · ··，βS)T是參數向量，錢(i}是基函數； 選擇勢(/)為高斯函數如下，
Ii是Qu中與第i個聚類中心最近的圖像，i= 1，2,…，S，CT12是第i個聚類類別中所 有圖像的方差，S是聚類類別的預設個數； 根據下面的目標函數J(3)
QJa 計算·?(β)的梯度按照梯度下降法得到參數向量的估計值爲，…，爲)Γβ
【文檔編號】G06F17/30GK104317912SQ201410588442
【公開日】2015年1月28日 申請日期:2014年10月28日 優先權日:2014年10月28日
【發明者】金聰, 金樞煒 申請人:華中師范大學