專利名稱：基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法
技術(shù)領(lǐng)域：
本發(fā)明屬與模式識(shí)別與信息處理技術(shù)領(lǐng)域，涉及基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，具體的是一種圖像分類(lèi)方法。
背景技術(shù)：
由于數(shù)碼相機(jī)等數(shù)碼產(chǎn)品的低廉價(jià)格，圖像、視頻數(shù)據(jù)可以很方便的拍攝并保存成方便計(jì)算機(jī)處理的電子形式。同時(shí)，互聯(lián)網(wǎng)資源的迅猛發(fā)展，使得廣大用戶開(kāi)始面臨一個(gè)龐大的數(shù)據(jù)資源。單純的利用人力來(lái)維護(hù)和組織這些數(shù)據(jù)已經(jīng)變得不現(xiàn)實(shí)。因此，開(kāi)發(fā)一種技術(shù)來(lái)有效的組織這些個(gè)人或者企業(yè)圖像、視頻數(shù)據(jù)成為了一個(gè)熱點(diǎn)問(wèn)題。然而，計(jì)算機(jī)不能“看”的很清楚它們不能像人一樣把圖像中的顏色像素轉(zhuǎn)換為更高級(jí)語(yǔ)義表示形式， 進(jìn)而完成分類(lèi)整理。一個(gè)人可以分類(lèi)識(shí)別10，000多種視覺(jué)對(duì)象。對(duì)我們?nèi)祟?lèi)來(lái)說(shuō)，分類(lèi)過(guò)程很快，毫不費(fèi)力而且對(duì)視角、光亮、遮擋和背景混淆有很好的魯棒性。而且，這個(gè)過(guò)程僅需要很少的監(jiān)督和少量實(shí)例。經(jīng)過(guò)了幾十年的努力，研究者在特定目標(biāo)(如，人臉，指紋識(shí)別)分類(lèi)識(shí)別方面取得了很大進(jìn)展，但是，到目前為止還沒(méi)有開(kāi)發(fā)出一種通用的目標(biāo)識(shí)別技術(shù)，滿足人們?nèi)粘Ｉ畹男枰Ｈ绾斡?xùn)練計(jì)算機(jī)來(lái)模擬人的形象思維，達(dá)到人類(lèi)的識(shí)別能力，仍然面臨著極大的挑戰(zhàn)。是挑戰(zhàn)，也是機(jī)會(huì)，因?yàn)檫@意味著這個(gè)領(lǐng)域還有著很大的發(fā)展空間。圖像分類(lèi)的研究，大致可以追溯到60年代。在這個(gè)過(guò)程當(dāng)中，圖像分類(lèi)研究者在這個(gè)領(lǐng)域做出了大量工作，其中包含很多具有里程碑意義的方法。總的來(lái)說(shuō)，目前圖像分類(lèi)主要可以分為兩個(gè)流派其中之一是模仿人類(lèi)的視覺(jué)器官，建立對(duì)應(yīng)的分類(lèi)子單元，以提高模仿程度來(lái)提高分類(lèi)性能；另外一種就是模仿人類(lèi)視覺(jué)的功能，而不刻意關(guān)注人實(shí)現(xiàn)過(guò)程中物理器官的反應(yīng)。1964年，Neisser在中指出，人類(lèi)的視覺(jué)系統(tǒng)的分類(lèi)過(guò)程大致可以分為兩個(gè)階段意識(shí)前階段和意識(shí)階段。在意識(shí)前階段，目標(biāo)上的突出的顯著局部區(qū)域會(huì)首先捕獲人的注意力；在意識(shí)階段，人們的視覺(jué)系統(tǒng)開(kāi)始建立這些顯著部分的關(guān)系，進(jìn)而識(shí)別出目標(biāo)。這思路極大的影響了計(jì)算機(jī)視覺(jué)界(主要是通過(guò)馬爾的工作)，一系列有效的研究紛至沓來(lái)。與Neisser提出的意識(shí)前階段和意識(shí)階段的功能相對(duì)應(yīng)，目標(biāo)識(shí)別的過(guò)程大致可以分為兩個(gè)階段局部顯著區(qū)域檢測(cè)及描述和分類(lèi)模型。在局部顯著區(qū)域檢測(cè)中，SIFT (尺度不變特征變換)以其穩(wěn)定的性能，成為了局部顯著區(qū)域檢測(cè)和描述的首選。同時(shí)，為了組織這些局部顯著區(qū)域以形成圖像的向量化描述，產(chǎn)生了一系列的分類(lèi)模型，有部分-結(jié)構(gòu)模型，基于輪廓的模型，語(yǔ)境語(yǔ)義相關(guān)模型，仿生學(xué)模型，特征包模型。在這些模型當(dāng)中，特征包模型以其優(yōu)越的性能，簡(jiǎn)潔的計(jì)算方式，成為圖像分類(lèi)的主流模型。然而，特征包模型需要產(chǎn)生一個(gè)可供所有圖像局部區(qū)域映射的碼本。為了滿足這個(gè)需要，理想中的碼本應(yīng)該涵蓋所有可能的局部顯著區(qū)域圖像塊。但是，圖像的變化時(shí)多樣且連續(xù)的，我們不可能生成一個(gè)碼本，能夠涵蓋所有的圖像塊。為了能夠近似的逼近圖像塊的各種變化，研究者選擇了聚類(lèi)的方式，把多種類(lèi)似的局部顯著區(qū)域圖像塊的連續(xù)變化映射到中間某個(gè)典型的圖像快上面。隨著圖像類(lèi)別的增加，這種典型的局部區(qū)域圖像塊也會(huì)呈亞線性增長(zhǎng)，由此帶來(lái)的便是圖像表示向量維數(shù)的增加，進(jìn)而導(dǎo)致維數(shù)災(zāi)難。如何產(chǎn)生碼本，使它技能滿足多樣性的要求，又在一定程度上避免維數(shù)災(zāi)難，成了目前困擾特征包模型研究者的熱點(diǎn)問(wèn)題。同時(shí)，對(duì)于多類(lèi)別問(wèn)題，如果按照普通的分類(lèi)方法，每個(gè)分類(lèi)器的訓(xùn)練過(guò)程，需要以本類(lèi)別的訓(xùn)練樣本為正樣本，其他所有類(lèi)別的樣本作為負(fù)樣本，這樣就造成了分類(lèi)器訓(xùn)練中嚴(yán)重的樣本不均衡問(wèn)題，使得正樣本淹沒(méi)在負(fù)樣本當(dāng)中。為了解決這個(gè)問(wèn)題， 有的研究者采用減少負(fù)樣本的方法，但是，由于減少了負(fù)樣本的多樣性，使得分類(lèi)器的性能反而大大降低；同時(shí)有的研究者使用負(fù)樣本多次采樣的方式，然而此方式?jīng)]有認(rèn)識(shí)到樣本空間復(fù)雜度高才是問(wèn)題的關(guān)鍵，因此雖然一定程度上提高了性能，但是也沒(méi)有從根本上解決問(wèn)題。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)對(duì)多類(lèi)別分類(lèi)問(wèn)題存在的困難，本發(fā)明的目的是能夠集合類(lèi)別之間的具有判別力的局部顯著區(qū)域圖像塊作為碼本，又能有效的降低分類(lèi)中圖像表示的維數(shù)災(zāi)難問(wèn)題的解決方法，為此，本發(fā)明提供一種基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法。為了達(dá)成所述目的，本發(fā)明基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，實(shí)現(xiàn)該方法的步驟包括步驟Sl 圖像數(shù)據(jù)集預(yù)處理模塊對(duì)圖像數(shù)據(jù)集I中的每一幅圖像采用局部顯著區(qū)域檢測(cè)子檢測(cè)圖像中的局部顯著區(qū)域圖像塊并表示為向量；這樣，圖像數(shù)據(jù)集中的所有圖像都被表示成了局部顯著區(qū)域圖像塊向量的集合，圖像數(shù)據(jù)集I包括訓(xùn)練圖像集和測(cè)試圖像集；步驟S2 類(lèi)別相關(guān)碼本生成模塊根據(jù)訓(xùn)練圖像的局部顯著區(qū)域圖像塊向量和訓(xùn)練圖像的類(lèi)別標(biāo)簽，產(chǎn)生類(lèi)別相關(guān)的碼本；步驟S3 圖像向量化模塊將圖像數(shù)據(jù)集中的圖像映射到步驟S2生成的類(lèi)別相關(guān)的碼本上，形成圖像向量；步驟S4:類(lèi)別相關(guān)分類(lèi)器訓(xùn)練模塊根據(jù)圖像向量中訓(xùn)練圖像對(duì)應(yīng)的圖像向量及類(lèi)別標(biāo)簽，訓(xùn)練類(lèi)別相關(guān)的分類(lèi)器；步驟S5 基于分類(lèi)器投票策略的測(cè)試圖像分類(lèi)模塊根據(jù)測(cè)試圖像在每個(gè)分類(lèi)器上的輸出標(biāo)簽進(jìn)行投票，給出測(cè)試圖像的最終類(lèi)別標(biāo)簽。其中，所述圖像數(shù)據(jù)集I = {I”…，IM+N}，包含訓(xùn)練圖像集/_...,/,U 和測(cè)試圖像集= {Iln-JL·)，M和N分別表示訓(xùn)練圖像和測(cè)試圖像的個(gè)數(shù)，I1表示圖像數(shù)據(jù)集I中第1幅圖像，IM+N表示圖像數(shù)據(jù)集I中第M+N幅圖像，Itrain1是表示第1幅訓(xùn)練圖像，Itrain"是表示第M幅訓(xùn)練圖像，Itest1是表示第1幅測(cè)試圖像，ItestN是表示第N幅測(cè)試圖像，train和test分別用來(lái)標(biāo)示圖像屬于訓(xùn)練圖像集和測(cè)試圖像集；其中，訓(xùn)練圖像集 Iteain用于類(lèi)別相關(guān)的碼本生成，基于投票策略的分類(lèi)器訓(xùn)練；測(cè)試圖像集Itest用于檢驗(yàn)所述基于類(lèi)別相關(guān)的碼本和投票策略的圖像分類(lèi)方法的性能。其中，所述類(lèi)別相關(guān)碼本生成模塊，將訓(xùn)練圖像的局部顯著區(qū)域圖像塊向量，按照所屬圖像的類(lèi)別標(biāo)簽進(jìn)行歸類(lèi)，標(biāo)簽類(lèi)別數(shù)為C，產(chǎn)生C組局部顯著區(qū)域圖像塊向量集合； 對(duì)產(chǎn)生的C組局部顯著區(qū)域圖像塊向量集合分別進(jìn)行K-均值聚類(lèi)，產(chǎn)生C個(gè)類(lèi)別相關(guān)碼本D= (D1, D2, .",DJ,每個(gè)碼本包含K個(gè)聚類(lèi)中心。 其中，所述圖像向量化模塊中第i幅圖像Ii在第m個(gè)類(lèi)別相關(guān)碼上向量化的具體步驟如下首先計(jì)算第i幅圖像Ii內(nèi)部第j個(gè)局部顯著區(qū)域圖像塊向量V與第m個(gè)類(lèi)別相關(guān)碼本Dm中第η個(gè)聚類(lèi)中心Dm11的距離(ΚχΛ Dffln)表示如下
權(quán)利要求
1.基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，實(shí)現(xiàn)該方法的步驟包括步驟Sl 圖像數(shù)據(jù)集預(yù)處理模塊對(duì)圖像數(shù)據(jù)集I中的每一幅圖像采用局部顯著區(qū)域檢測(cè)子檢測(cè)圖像中的局部顯著區(qū)域圖像塊并表示為向量；這樣，圖像數(shù)據(jù)集中的所有圖像都被表示成了局部顯著區(qū)域圖像塊向量的集合，圖像數(shù)據(jù)集I包括訓(xùn)練圖像集和測(cè)試圖像集；步驟S2 類(lèi)別相關(guān)碼本生成模塊根據(jù)訓(xùn)練圖像的局部顯著區(qū)域圖像塊向量和訓(xùn)練圖像的類(lèi)別標(biāo)簽，產(chǎn)生類(lèi)別相關(guān)的碼本；步驟S3 圖像向量化模塊將圖像數(shù)據(jù)集中的圖像映射到步驟S2生成的類(lèi)別相關(guān)的碼本上，形成圖像向量；步驟S4:類(lèi)別相關(guān)分類(lèi)器訓(xùn)練模塊根據(jù)圖像向量中訓(xùn)練圖像對(duì)應(yīng)的圖像向量及類(lèi)別標(biāo)簽，訓(xùn)練類(lèi)別相關(guān)的分類(lèi)器；步驟S5 基于分類(lèi)器投票策略的測(cè)試圖像分類(lèi)模塊根據(jù)測(cè)試圖像在每個(gè)分類(lèi)器上的輸出標(biāo)簽進(jìn)行投票，給出測(cè)試圖像的最終類(lèi)別標(biāo)簽。
2.如權(quán)利要求1所述的基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，所述圖像數(shù)據(jù)集I = II1, ...，IJ，包含訓(xùn)練圖像集
3.如權(quán)利要求1所述的基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，所述類(lèi)別相關(guān)碼本生成模塊，將訓(xùn)練圖像的局部顯著區(qū)域圖像塊向量，按照所屬圖像的類(lèi)別標(biāo)簽進(jìn)行歸類(lèi)，標(biāo)簽類(lèi)別數(shù)為C，產(chǎn)生C組局部顯著區(qū)域圖像塊向量集合；對(duì)產(chǎn)生的C組局部顯著區(qū)域圖像塊向量集合分別進(jìn)行K-均值聚類(lèi)，產(chǎn)生C個(gè)類(lèi)別相關(guān)碼本D = (D1，D2, ...，DJ，每個(gè)碼本包含K個(gè)聚類(lèi)中心。
4.如權(quán)利要求1所述的基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，所述圖像向量化模塊中第i幅圖像Ii在第m個(gè)類(lèi)別相關(guān)碼本Dm上向量化的具體步驟如下首先計(jì)算第i幅圖像Ii內(nèi)部第j個(gè)局部顯著區(qū)域圖像塊向量V與第m個(gè)類(lèi)別相關(guān)碼本Dm中第η個(gè)聚類(lèi)中心Dm11的距離(ΚχΛ Dffln)表示如下
5.如權(quán)利要求1所述的基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，所述類(lèi)別相關(guān)分類(lèi)器訓(xùn)練模塊，根據(jù)訓(xùn)練圖像訓(xùn)練C個(gè)類(lèi)別中任意兩個(gè)類(lèi)別之間的分類(lèi)器；分類(lèi)第i類(lèi)圖像與第j類(lèi)圖像的分類(lèi)器ij訓(xùn)練過(guò)程如下從圖像向量化模塊產(chǎn)生的圖像向量集合i中選擇第i類(lèi)的訓(xùn)練圖像在類(lèi)別相關(guān)碼本Di上產(chǎn)生的向量，從圖像向量集合j中選擇第i類(lèi)訓(xùn)練圖像在類(lèi)別相關(guān)碼本Α上產(chǎn)生的向量，然后把相同圖像產(chǎn)生的向量鏈接成新的向量，作為第i類(lèi)訓(xùn)練圖像新的向量表示；同樣的方式，從第i類(lèi)圖像向量集合和第j類(lèi)圖像向量集合中分別選擇第j類(lèi)訓(xùn)練圖像在類(lèi)別相關(guān)碼本Di和類(lèi)別相關(guān)碼本上產(chǎn)生的向量并鏈接，作為第j類(lèi)訓(xùn)練圖像新的向量表示；然后利用新得到的第i類(lèi)和第j類(lèi)圖像的表示向量，訓(xùn)練分類(lèi)器ij ；同樣的方式，取
6.如權(quán)利要求1所述的基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，其特征在于，基于分類(lèi)器投票策略的測(cè)試圖像分類(lèi)模塊給定一幅測(cè)試圖像，從圖像向量集合i 中選擇該測(cè)試圖像在類(lèi)別相關(guān)碼本Di上面計(jì)算的向量，同時(shí)從圖像向量集合j中選擇該測(cè)試圖像在類(lèi)別相關(guān)碼本Dj上得到的向量，然后鏈接兩個(gè)向量為一個(gè)新向量，輸入分類(lèi)器ij， 得到分類(lèi)器ij的分類(lèi)結(jié)果；取
全文摘要
本發(fā)明為基于類(lèi)別相關(guān)的碼本和分類(lèi)器投票策略的圖像分類(lèi)方法，首先圖像數(shù)據(jù)集預(yù)處理模塊將圖像表示為局部顯著區(qū)域圖像塊的集合；類(lèi)別相關(guān)的碼本生成模塊生成類(lèi)別相關(guān)的碼本；圖像向量化模塊根據(jù)類(lèi)別相關(guān)的碼本，將圖像表示為圖像向量，類(lèi)別相關(guān)分類(lèi)器訓(xùn)練模塊選擇其中的訓(xùn)練圖像向量和訓(xùn)練圖像對(duì)應(yīng)的類(lèi)別標(biāo)簽訓(xùn)練任意兩個(gè)類(lèi)別之間的分類(lèi)器；最后，基于分類(lèi)器投票策略的測(cè)試圖像分類(lèi)模塊根據(jù)各個(gè)分類(lèi)器的投票結(jié)果，確定測(cè)試圖像的類(lèi)別標(biāo)簽。類(lèi)別相關(guān)碼本生成模塊有效地解決了碼本過(guò)大導(dǎo)致維數(shù)災(zāi)難與碼本過(guò)小判別性不足的矛盾；同時(shí)類(lèi)別相關(guān)的分類(lèi)器訓(xùn)練模塊也擺脫了多類(lèi)別分類(lèi)中樣本不均衡產(chǎn)生的問(wèn)題，提高了分類(lèi)性能。
文檔編號(hào)G06K9/62GK102156871SQ201010112518
公開(kāi)日2011年8月17日 申請(qǐng)日期2010年2月12日 優(yōu)先權(quán)日2010年2月12日
發(fā)明者張琳波, 王春恒, 肖柏華 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所