專利名稱：基于全局和局部結構融合的圖像特征提取方法
技術領域：
本發明涉及一種基于全局和局部結構融合的圖像特征提取方法，屬于智能信息處理領域。

背景技術：
圖像識別技術已經成為當今研究和應用的熱點之一。該項技術已成功應用于人臉識別、車牌識別、視頻監控、目標跟蹤識別等領域。
作為圖像識別關鍵環節之一的特征提取方法，就是將原始的高維圖像數據映射到一個低維的特征空間。該技術已經成為機器學習和模式識別領域的一個研究熱點。常用的特征提取方法有線性鑒別分析方法(Linear Discriminant Analysis，簡稱LDA)，局部保留映射方法(Locality Preserving Projection，簡稱LPP)等。
線性鑒別分析方法是模式識別中的經典算法(K.Fukunaga.“Introduction tostatistical pattern classification”.Academic Press，San Diego，California，USA，1990.“統計模式識別導論”)。這種方法通過最大化類間散布矩陣而最小化類內散布矩陣，獲取目標圖像數據的全局結構信息，使得投影后的模式樣本的類間散布最大而類內散布最小，也就是說，投影后保證模式樣本在新的空間中有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。
最近，局部幾何結構在特征提取領域引起了廣泛的關注，而局部幾何結構可以通過拉普拉斯矩陣獲得。局部保留映射(X.He，P.Niyogi.“Locality Preserving Projections”.In Proc.Conf.Advances in Neural Information Processing Systems，2003.“局部保留映射”)法正是根據這一思想發展起來的一種新的特征提取方法，它基于圖的拉普拉斯矩陣計算數據的低維流形，其方法是首先構造原始數據的鄰接圖，建立圖的拉普拉斯矩陣，然后以在原始空間中距離接近的兩個數據點，投影后在特征空間中的距離更近為準則，求得變換矩陣，獲取目標圖像數據集的局部結構信息。
以上兩種方法用于圖像識別，都取得了令人滿意的識別結果。但是LDA、LPP分別主要提取圖像數據集的全局信息、局部信息，僅能反映數據集某方面的特征，而在現實世界中，目標圖像數據集的結構通常非常復雜，僅僅靠全局信息或僅僅靠局部結構信息，可能不足以揭示目標圖像數據集內在的真實結構。而且在圖像識別中，全局結構特征相對更重要，還是局部結構特征相對更重要，隨著應用對象的不同而不同。因此尋求一種兼顧全局結構信息和局部結構信息的特征融合提取方法具有重要的意義。在進一步的檢索中尚未發現融合這兩種特征的圖像識別方法。


發明內容
本發明的目的在于針對現有方法中存在的不足，提出一種融合全局結構信息和局部結構信息特征的提取方法，稱之為一種基于全局和局部特征融合的圖像分析方法(Global andLocal feature fusion Analysis，簡稱GLA)，使其達到同時兼顧全局和局部結構信息，提取更具鑒別力的特征的目的，將該方法用于圖像識別，能夠提高識別的精度。
為了達到上述目的，本發明提供了一種基于全局和局部結構融合的圖像特征提取方法，其技術原理是，首先是構造訓練圖像數據的加權鄰接圖，確定相似矩陣、度矩陣和圖的拉普拉斯矩陣；然后確定訓練圖像數據的類內散布矩陣和類間散布矩陣；根據全局和局部特征融合分析方法的目標函數，得到投影矩陣；最后利用該投影矩陣把訓練圖像和測試圖像分別投影到特征空間中，采用最小距離分類器，進行圖像識別。
具體步驟如下 步驟1、構造訓練數據的加權鄰接圖 步驟1.1、在現有的數據集的每一類數據中，選取任意個數n的數據點組成訓練圖像數據集，并在剩余的數據點中選取任意個數的數據點組成測試圖像數據集，其中每一個數據點為一幅圖像； 步驟1.2、通過頂點以及每個頂點與其最近鄰點之間邊的權值構造加權鄰接圖； 步驟1.2.1、加權鄰接圖的每個頂點對應于訓練圖像數據集中的一個數據點； 步驟1.2.2、若頂點xj屬于頂點xi的k-最近鄰點，k為最近鄰范圍，即xj是xi的k范圍內的最近鄰點，則在xi和xj之間建立一條邊e＝ij，其權值通過下式求出
其中，若頂點xj屬于頂點xi的k-最近鄰點或頂點xi屬于頂點xj的k-最近鄰點，則w(i，j)為通過式(1)求出，其他情況下，w(i，j)＝式(2)；β為任一正實數；w(i，j)大于0并小于等于1，其反映了相鄰接的兩個圖像數據點間的相似程度，w(i，j)越大說明這兩點越相似； 步驟2、根據步驟1得到的加權鄰接圖確定相似矩陣W、度矩陣D和加權鄰接圖的拉普拉斯矩陣L 步驟2.1、相似矩陣W中的每個元素的值為通過步驟1.2.2求得的w(i，j)，即Wij＝w(i，j)，其中i＝1，2，3，…，n、j＝1，2，3，…，n； 步驟2.2、度矩陣D＝diag(d1，d2，L，dn)，其中，di為頂點xi的度，其值通過以下公式求出 步驟2.3、加權鄰接圖的拉普拉斯矩陣L＝D-W，即
相似矩陣W的每行的元素值，只考慮了該行所代表的數據點與其最近鄰范圍內的k個數據點的相似程度，即只有k個元素值非零，其余值均為零，這樣W體現了數據集的局部結構，而k定義了W的局部特性，L和D都是在W的基礎上生成的； 步驟3、確定訓練圖像數據集的類內散布矩陣Sw和類間散布矩陣Sb類內散布矩陣Sw和類間散布矩陣Sb分別通過以下公式求出 其中，數據集X包含n個訓練圖像數據點，有c個目標類別，則第i類目標的數據集為Xi(i＝1，2，L，c)，其數據點個數為ni，則X＝[X1，X2，Λ，Xc]；x是指n個數據點中屬于第i類目標的各個數據點；為第i類目標的均值向量，為總體的均值向量，其中，i＝1，2，…，c； Sw和Sb反映的是數據集的二階統計信息，它們每個元素都是由數據集的所有數據點綜合而成的，因此Sw和Sb都是對數據集的一種全局描述；并且可以通過公式求出Sw的跡，它度量了類的內聚程度，其中e∈RD，且e的元素全為1，eT表示該列向量的轉置，Sw的跡是大于等于零的數，越大表示類內散布越大，越小表示類內散布越小，亦可以通過公式求出Sb的跡，它度量了類間的分離程度，其值是大于等于零的數，越大表示類間散布越大，越小表示類間散布越小； 步驟4、確定投影矩陣A 投影矩陣A通過通過以下公式求出 其中，ρ為調節因子，且0≤ρ≤1，若ρ＝0，上述公式表示全局特征，若ρ＝1，上述公式表示局部特征；n為訓練圖像數據集中數據點的總數；X為訓練圖像數據集中所有的數據點構成的矩陣； 引入n是為了消除Sw和XLXT計算上的差異；ATSwA為投影后的類內散布矩陣，表示投影后的數據之間的全局特性；ATSbA表示投影以后的類間散布矩陣；由步驟3中對Sw的跡和Sb的跡的說明可以得知，上述公式中ATSwA的跡trace(ATSwA)可以用來度量投影后類的內聚程度，ATSbA的跡trace(ATSbA)可以用來度量投影后類間的分離程度；矩陣XLXT的每個元素都只是對局部信息的反映，反應了數據之間的局部特性，ATXLXTA表示投影后的數據之間的局部特性； 通過上述公式可以提取出全局結構特征和局部結構特征綜合后所得到的復合特征，這些特征可以更全面地表達目標數據，即可以轉化為求解如下廣義特征值問題的最小特征值對應的特征向量 其中，調節因子ρ的最佳取值可以通過試驗確定；λ是矩陣A的特征值；α是λ對應的特征向量； 步驟5、識別 將訓練圖像和測試圖像分別利用上述投影矩陣A映射到特征空間中，得到訓練系數矩陣和測試系數矩陣，采用最小距離分類器，即可獲得識別結果。
進一步，步驟5中所述的采用最小距離分類器是指把各類別樣本的均值向量作為各類的代表點，根據待識樣本到各類別代表點的最小距離判別其類別。



圖1為本發明處理方法總體框圖； 圖2為調節因子ρ對算法識別性能的影響(Satimage庫)，圖中*線GLA方法(全局局部特征融合分析方法)；△線LPP方法(局部保留映射方法)；○線LDA方法(線性鑒別分析方法)； 圖3為Satimage數據集的部分數據采用線性鑒別分析方法降維后的二維可視化結果，其中●紅土；*棉作物；▽灰土；×濕地；☆植被覆蓋區；口重濕地 圖4為Satimage數據集的部分數據采用局部保留映射方法降維后的二維可視化結果，其中●紅土；*棉作物；▽灰土；×濕地；☆植被覆蓋區；口重濕地 圖5為Satimage數據集的部分數據采用全局局部融合特征分析方法降維后的二維可視化結果，其中●紅土；*棉作物；▽灰土；×濕地；☆植被覆蓋區；□重濕地。

具體實施例方式 以下結合實施例來具體說明本發明 Satimage數據庫實驗 Satimage是UCI提供的用于機器學習研究的數據集之一，它包含6類數據，樣本的屬性特征個數為36，本實驗使用了Satimage中的2400個數據點，每類400個，訓練樣本數為180，測試樣本數為2220。圖1為實驗方法總體框架，框架中的預處理主要是對數據的規范化，將數據的模規范化到0到1之間。如圖1所示，本發明的可以分為下列步驟 步驟1.構造訓練數據的加權鄰接圖 在6類數據每類400個數據點中，選取前30個數據組成訓練庫，并用剩余的數據組成測試庫。對訓練數據構造鄰接圖時，取最近鄰范圍為k＝15。

根據公式(1)計算出鄰接圖中每條邊的權值w(i，j)，也即相鄰接的兩個圖像數據點間的相似程度。β作為參數主要是用來控制數據空間的尺度或光滑性，β的選取尚沒有一般性的結論，在本實驗中，選取β為所有數據間平均歐氏距離的平方根。
步驟2.確定相似矩陣W、度矩陣D和圖的拉普拉斯矩陣L 由步驟1中的鄰接圖中計算得到的權值w(i，j)可以得到相似矩陣W，W的元素Wij＝w(i，j)。
鄰接圖中每個頂點i的度di由公式求得，其中n為訓練圖像數據點的個數，這里為n＝180。求得度di后，則鄰接圖的度矩陣可由公式D＝diag(d1，d2，L，dn)得到。
上面求出W和D后，圖的拉普拉斯矩陣可由公式L＝D-W可計算得到。
步驟3.確定類內散布矩陣Sw和類間散布矩陣Sb。
類內散布矩陣可由公式計算得到。類間散布矩陣可由公式計算得到。其中，c為目標類別，在Satimage數據庫里為c＝6；n為訓練圖像數據點的個數，這里為n＝180；ni表示第i類目標Xi(i＝1，2，L，c)的訓練樣本有ni個，這里為ni＝30。Xi表示第i類目標，i的范圍為從1到6。為第i類目標的均值向量。為總體的均值向量，xi為訓練圖像數據點，i的范圍從1到180。
步驟4.確定投影矩陣A 由步驟3求得Sw和Sb后，投影矩陣A通過解全局和局部特征融合分析方法的準則函數 可以得到A。上式可以轉化為求解如下廣義特征值問題的最小特征值對應的特征向量 其中調節因子ρ的最佳取值可以通過試驗確定。α是A的一列，是特征向量，組合起來就構成A，和λ是特征值，是大于等于零的實數。
由于調節因子ρ的最佳取值需要通過試驗確定，所以在ρ從0到1的取值范圍內以0.01為間距從0遞增到1在Satimage訓練庫和測試庫上重復實驗，記錄識別結果，實驗中運用求得的前兩列特征向量構成投影矩陣將數據降至兩維。實驗結果如圖2所示，可以看出GLA方法比LDA和LPP方法具有更高的識別率，并且當ρ＝0.08時，全局局部融合特征分析方法取得了最佳的識別性能。因此在以后的Satimage庫實驗中，全局局部融合特征分析方法的調節因子ρ均取0.08。表1列出了在該實驗下LDA、LPP、GLA三種方法的識別結果，實驗中固定取每類的前30個數據作為訓練庫，k＝15。表中的1級識別率表示運用最小距離分類器求得的與測試數據距離最小的類別均值向量的類別作為識別結果時的識別率；表中的2級識別率表示運用最小距離分類器求得的與測試數據距離最小的類別均值向量的類別或與測試數據距離次最小的類別均值向量的類別作為識別結果時的識別率；表中的3級識別率表示運用最小距離分類器求得的與測試數據距離最小的類別均值向量的類別或與測試數據距離次最小的類別均值向量的類別或與測試數據距離第三最小的類別均值向量的類別作為識別結果時的識別率。當ρ＝0.08時，GLA取得了73.74％的識別率，比LDA、LPP分別高了6.7個、4.5個百分點，顯示出了良好的性能。
表1 各識別算法在Satimage庫上的識別性能比較 (固定取每類的前30個數據作為訓練庫，k＝15) 步驟5.識別 由步驟4求得投影矩陣A后，將訓練圖像180個數據和測試圖像2220個數據分別利用投影矩陣映射到特征空間中，得到訓練系數矩陣和測試系數矩陣，采用最小距離分類器，即可獲得識別結果。
為了能進一步比較線性鑒別分析、局部保留映射和全局局部特征融合三種方法的性能，我們進行了100次隨機實驗。每次實驗從數據集中隨機選擇30個數據點作為訓練庫，剩余的數據作為測試庫，三種方法均降至兩維，仍取k＝15構造最近鄰圖，記錄識別結果，最后取100次結果的平均值作為最終結果。實驗中全局局部特征融合分析方法均取ρ＝0.08。
表2列出了三種方法的最終識別結果，可以看出GLA取得了78.83％的識別率，比LDA、LPP分別高了16個、7個百分點。
表2 各識別算法在Satimage庫上的識別性能比較 (隨機實驗，k＝15) 為了更直觀地觀察三種方法的分類性能，分別用這三種方法求取兩列特征向量構成的投影矩陣將數據降至兩維。用每類中選取的前30個數據組成訓練庫，剩余的數據作測試，k＝15，ρ＝0.08。三種方法對訓練庫中的數據降維后的可視化結果如圖3、圖4和圖5所示。
從圖3中可以看出，LDA分離出了紅土和棉作物，灰土和植被覆蓋區的大部分也分離了出來，但是灰土、植被覆蓋區的一部分和濕地、重濕地混疊在一起。從圖4中可以看出LPP分離出了紅土、棉作物和灰土，但是紅土和灰土分開的距離不大，部分數據陷入對方區域，其他三類混疊在一起，區分難度大。
圖5與圖3和圖4比較可以顯示GLA取得了最佳的分類結果，完全分離出了紅土、棉作物和灰土，而且這三者的區分非常明顯，尤其是紅土和灰土之間距離非常大，克服了LPP的不足，其余三類雖然也混疊在一起，但是明顯比LPP區分度大，可以將植被覆蓋區的大部分分離出來。
從圖3、圖4和圖5也可以看出，LPP能夠保留數據的流形結構，將數據分布在其流形上，而LDA可以使每類聚集地更緊湊，不同類別之間分開的距離也相對最大。而GLA兼具兩者的特性，既可以保留數據的流形結構，又能使每類數據盡可能聚集地更緊湊，通過對比可以發現，GLA利用保流形特性，將灰土和濕地完全分開(LPP也是如此)，而利用聚類特性將每一類的分布范圍明顯縮小，同時將不同類別間的距離拉開。
權利要求
1.基于全局和局部結構融合的圖像特征提取方法，其特征在于，分為下列步驟
步驟1、構造訓練數據的加權鄰接圖
步驟1.1、在現有的數據集的每一類數據中，選取任意個數n的數據點組成訓練圖像數據集，并在剩余的數據點中選取任意個數的數據點組成測試圖像數據集，其中每一個數據點為一幅圖像；
步驟1.2、通過頂點以及每個頂點與其最近鄰點之間邊的權值構造加權鄰接步驟1.2.1、加權鄰接圖的每個頂點對應于訓練圖像數據集中的一個數據點；
步驟1.2.2、若頂點xj屬于頂點xi的k-最近鄰點，k為最近鄰范圍，即xj是xi的k范圍內的最近鄰點，則在xi和xj之間建立一條邊e＝ij，其權值通過下式求出
其中，若頂點xj屬于頂點xi的k-最近鄰點或頂點xi屬于頂點xj的k-最近鄰點，
則w(i，j)為通過式(1)求出，其他情況下，w(i，j)＝式(2)；β為任一正實數；
步驟2、根據步驟1得到的加權鄰接圖確定相似矩陣W、度矩陣D和加權鄰接圖的拉拉斯矩陣L
步驟2.1、相似矩陣W中的每個元素的值為通過步驟1.2.2求得的w(i，j)，即Wij＝w(i，j)，其中i＝1，2，3，…，n、j＝1，2，3，…，n；
步驟2.2、度矩陣D＝diag(d1，d2，L，dn)，其中，di為頂點xi的度，其值通過以下公式求出
步驟2.3、加權鄰接圖的拉普拉斯矩陣L＝D-W，即
步驟3、確定訓練圖像數據集的類內散布矩陣Sw和類間散布矩陣Sb
類內散布矩陣Sw和類間散布矩陣Sb分別通過以下公式求出
其中，數據集X包含n個訓練圖像數據點，有c個目標類別，則第i類目標的數據集為Xi(i＝1，2，L，c)，其數據點個數為ni，則X＝[X1，X2，Λ，Xc]；x是指n個數據點中屬于第i類目標的各個數據點；為第i類目標的均值向量，為總體的均值向量，其中，i＝1，2，…，c；
步驟4、確定投影矩陣A
投影矩陣A通過通過以下公式求出
其中，ρ為調節因子，且0≤ρ≤1，若ρ＝0，上述公式表示全局特征，若ρ＝1，上述公式表示局部特征；n為訓練圖像數據集中數據點的總數；X為訓練圖像數據集以及測試圖像數據集中所有的數據點構成的矩陣；
步驟5、識別
將訓練圖像和測試圖像分別利用所述投影矩陣A映射到特征空間中，得到訓練系數矩陣和測試系數矩陣，采用最小距離分類器，即可獲得識別結果。
2.如權利要求1所述的基于全局和局部結構融合的圖像特征提取方法，其特征在于，根據步驟3中的Sw以及Sb，分別求出兩者的跡
其中，其中e∈RD，且e的元素全為1，eT表示該列向量的轉置。
3.如權利要求1所述的基于全局和局部結構融合的圖像特征提取方法，其特征在于，根據步驟5中所述的公式提取出全局結構特征和局部結構特征綜合后所得到的復合特征，這些特征可以更全面地表達目標數據，即可以轉化為求解如下廣義特征值問題的最小特征值對應的特征向量其中，調節因子ρ的取值通過試驗確定；λ是矩陣A的特征值；α是λ對應的特征向量。
4.如權利要求1所述的基于全局和局部結構融合的圖像特征提取方法，其特征在于，步驟5中所述的采用最小距離分類器是指把各類別樣本的均值向量作為各類的代表點，根據待識樣本到各類別代表點的最小距離判別其類別。
全文摘要
基于全局和局部結構融合的圖像特征提取方法，其特征在于，包括以下步驟1)構造加權鄰接圖，2)確定相似矩陣、度矩陣和圖的拉普拉斯矩陣，3)確定類內散布矩陣和類間散布矩陣，4)確定投影矩陣，5)識別。本發明的優點是提出了一種融合全局結構信息和局部結構信息的特征提取方法，該方法可以提取出融合全局特征和局部特征的復合特征，因而更具有鑒別力。而且該方法不但具有局部保留映射法特點，即能夠保留數據的流形結構的特性；而且具有線性鑒別分析方法的特點，即能使類內數據聚集地更緊湊而拉大類間距離。將本發明應用在圖像識別中，可以提高識別性能。
文檔編號G06K9/46GK101369316SQ200810040378
公開日2009年2月18日 申請日期2008年7月9日 優先權日2008年7月9日
發明者孫韶媛, 谷小婧, 方建安 申請人:東華大學