專利名稱：視覺廣告效果評估系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種視覺廣告效果評估系統(tǒng)及方法。
背景技術(shù)：
在商業(yè)高度發(fā)達(dá)和商業(yè)競爭日益激烈的現(xiàn)代社會中，廠家迫切需要了解廣告投放的效果。現(xiàn)有的廣告投放形式多樣，主要分為媒體廣告和非媒體廣告。媒體廣告指通過媒體來傳播信息的廣告，如電視廣告、報紙雜志廣告、網(wǎng)絡(luò)廣告等；而非媒體廣告則指直接面對受眾的廣告媒介形式，如廣告牌、平面招貼廣告、商場中的購買點海報廣告等。媒體廣告的投放效果主要可通過媒體的影響力來評估，例如電視廣告投放時間段的收視率、報紙雜志廣告的發(fā)行量、網(wǎng)絡(luò)廣告的網(wǎng)頁點擊量等。相比于媒體廣告而言，非媒體廣告直接面向受眾，因而難以進(jìn)行投放效果的評估，更難以實現(xiàn)對于廣告設(shè)計質(zhì)量的評估并進(jìn)行后續(xù)的費用支付。因此，發(fā)明設(shè)計非媒體廣告效果評測方法是非常有必要的。視覺廣告作為非媒體廣告的重要組成部分，在經(jīng)濟高速發(fā)展的社會不可或缺。目前的視覺廣告效果評估主要通過估計投放路段的人流量實現(xiàn)，其主要問題有兩方面。一是目前人流量的獲取主要通過目測估計，精度差且不能把握不同時段人流量的變化；二是缺乏對廣告設(shè)計質(zhì)量的評價。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是提供一種可以有效地實現(xiàn)對視覺廣告效果進(jìn)行評估，并能進(jìn)行廣告優(yōu)劣的評價，且評估精度高的視覺廣告效果評估系統(tǒng)及方法。( 二 )技術(shù)方案為解決上述問題，本發(fā)明提供了一種視覺廣告效果評估系統(tǒng)，該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像、以及所述設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，與所述采集模塊相連，用于根據(jù)計算機視覺方法及圖像處理方法，對所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過所述待評估的廣告牌的行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評估模塊；評估模塊，與所述數(shù)據(jù)處理模塊相連，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)評估所述待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。優(yōu)選地，所述數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測單元，用于根據(jù)灰度和邊緣特征及區(qū)分式分類器，并結(jié)合所述背景圖像，檢測所述視頻圖像中的行人；行人跟蹤單元，用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測器獲取視頻圖像中的行人軌跡；流量統(tǒng)計單元，用于根據(jù)所述行人檢測單元檢測到的行人數(shù)量以及所述行人跟蹤單元獲取的行人軌跡，統(tǒng)計所述待評估廣告牌所在區(qū)域的行人流量；人臉檢測及姿態(tài)估計單元，用于根據(jù)基于灰度及邊緣特征的樹狀結(jié)構(gòu)多分類器，并結(jié)合背景圖像，檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及回歸算法，統(tǒng)計人臉朝向；統(tǒng)計單元，用于根據(jù)所述人臉檢測及姿態(tài)估計單元的統(tǒng)計結(jié)果，以及所述采集頻率，統(tǒng)計行人觀看比例以及行人觀看時間數(shù)據(jù)，并發(fā)送至所述評估模塊。本發(fā)明還提供了一種基于上述視覺廣告效果評估系統(tǒng)的視覺廣告效果評估方法， 該方法包括步驟SI.采集模塊按照設(shè)定采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像；S2.數(shù)據(jù)處理模塊根據(jù)計算機視覺方法及圖像處理方法，對所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過所述待評估的廣告牌的行人流量、行人觀看比例以及行人觀看的時間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評估模塊；S3.評估模塊根據(jù)所述行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)評估所述待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。優(yōu)選地,步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類器，檢測所述視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及所述回歸算法，統(tǒng)計人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計結(jié)果以及采集頻率，統(tǒng)計行人觀看比例以及行人觀看的時間數(shù)據(jù)。優(yōu)選地,步驟S2. I進(jìn)一步包括S2. 11將行人按姿態(tài)分為正面/背面、及側(cè)面兩類，并利用行人樣本圖像訓(xùn)練基于灰度和邊緣特征的區(qū)分行人/非行人的分類器；S2. 12在視頻圖像中搜索子窗口并利用所述區(qū)分行人/非行人的分類器判別所述子窗口是否為行人區(qū)域，并根據(jù)背景圖像以及運動目標(biāo)檢測算法，檢測所述視頻圖像中的行人。優(yōu)選地,步驟S2. 2進(jìn)一步包括S2. 21根據(jù)行人的姿態(tài)估計行人可能的運動方向來設(shè)置跟蹤算法框架的運動模型；S2. 22利用所述運動模型的預(yù)測姿態(tài)的行人檢測器的輸出似然概率設(shè)計跟蹤算法框架的觀測模型；S2. 23根據(jù)度量模型獲取行人軌跡，所述度量模型由所述運動模型及觀測模型得到的所有結(jié)果融合得到。優(yōu)選地,步驟S2. 3進(jìn)一步包括S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器，以及以人臉朝向為輸出的隨機回歸森林；S2. 32根據(jù)所述樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)下的人臉；S2. 33根據(jù)步驟S2. 32的檢測結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機回歸森林中所有回歸樹的輸入；3/6頁S2. 34平均所有回歸樹的估計姿態(tài)角，得到人臉朝向的統(tǒng)計結(jié)果。優(yōu)選地，使用窮舉搜索法進(jìn)行步驟S2. 12中的行人的檢測，以及步驟S2. 32中的人臉姿態(tài)的檢測。(三)有益效果本發(fā)明的系統(tǒng)及方法可以有效地實現(xiàn)對視覺廣告的投放效果進(jìn)行評估，并提供評價廣告優(yōu)劣的評價標(biāo)準(zhǔn)和廣告收費參考，解決了非媒體視覺廣告效果評估難的問題。


圖I為依照本發(fā)明一種實施方式的視覺廣告效果評估系統(tǒng)的結(jié)構(gòu)框圖；圖2為依照本發(fā)明一種實施方式的視覺廣告效果評估方法的流程圖；圖3為級聯(lián)分類器結(jié)構(gòu)示意圖；圖4為樹結(jié)構(gòu)人臉檢測分類器結(jié)構(gòu)示意圖；圖5為依照本發(fā)明一種實施方式的視覺廣告效果評估方法原理框圖。
具體實施例方式本發(fā)明提出的視覺廣告效果評估系統(tǒng)及方法，結(jié)合附圖及實施例詳細(xì)說明如下。本發(fā)明針對視覺廣告提出了一種基于圖像處理和計算機視覺方法的視覺廣告效果評估系統(tǒng)。使用攝像頭對廣告牌前的路段進(jìn)行監(jiān)控，并根據(jù)采集到的視頻圖像對該路段的人流量以及廣告對行人的吸引程度進(jìn)行統(tǒng)計，最終獲取廣告效果的評估參數(shù)。本發(fā)明方法使用行人流量、駐足觀看行人比例以及行人觀看廣告時間三個參數(shù)對視覺廣告效果提供評估檢測參考。本發(fā)明系統(tǒng)可實現(xiàn)如下四個方面的用途檢測出經(jīng)過廣告牌的人數(shù)；獲取觀看廣告牌的人的個數(shù)；提取出單個人對于廣告的注意時間；定時將上述數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送回統(tǒng)計中心，并進(jìn)一步評價出廣告牌的效果。本發(fā)明的主要思路為首先在廣告牌的上方設(shè)置攝像頭實時采集視頻圖像。通過行人檢測和跟蹤算法檢測攝像頭視角內(nèi)的行人并進(jìn)一步統(tǒng)計行人流量，以此作為廣告牌安放位置是否合適的標(biāo)準(zhǔn)；對于攝像頭視角內(nèi)的行人，通過人臉檢測定位其人臉區(qū)域并利用人臉姿態(tài)估計算法獲取人臉朝向，判斷行人是否被廣告吸引并觀看廣告牌。結(jié)合圖像的采集頻率統(tǒng)計駐足行人的停留時間和觀看時間，根據(jù)停留時間評價廣告投放路段是否合理，根據(jù)觀看時間評價廣告內(nèi)容是否吸引人。綜合考慮以上各參數(shù)來實現(xiàn)對于視覺廣告效果的評估。其評估結(jié)果可作為廣告優(yōu)劣的評價標(biāo)準(zhǔn)和廣告收費的參考。如圖I所示，依照本發(fā)明一種實施方式的視覺廣告效果評估系統(tǒng)，包括采集模塊，用于按照設(shè)定的采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像、以及設(shè)定范圍內(nèi)的背景圖像，該模塊優(yōu)選為設(shè)置在廣告牌上方的攝像頭，該設(shè)定范圍為攝像頭的視角。數(shù)據(jù)處理模塊，與采集模塊相連，用于根據(jù)計算機視覺方法及圖像處理方法，對采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過待評估的廣告牌的行人流量、行人觀看比例以及行人觀看的時間數(shù)據(jù)，并將上述數(shù)據(jù)發(fā)送至評估模塊。評估模塊，優(yōu)選通過網(wǎng)絡(luò)與數(shù)據(jù)處理模塊相連，用于根據(jù)行人流量、行人觀看比例
6以及行人觀看時間數(shù)據(jù)評估待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。其中，數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測單元，用于根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類器，并結(jié)合背景圖像， 檢測視頻圖像中的行人。行人跟蹤單元，由于單個行人可能在連續(xù)幀中多次出現(xiàn)，需要對單個行人的軌跡進(jìn)行分析，因此，該模塊用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測器獲取視頻圖像中的行人軌跡。流量統(tǒng)計單元，用于在圖像中設(shè)置感興趣區(qū)域(Region Of Interest, R0I),對于單幅圖像，根據(jù)行人檢測單元檢測到的行人數(shù)量以及行人跟蹤單元獲取的行人軌跡，統(tǒng)計待評估廣告牌所在區(qū)域的行人流量。人臉檢測及姿態(tài)估計單元，用于根據(jù)基于灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器，并結(jié)合背景圖像，檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及回歸算法(隨機回歸森林，random forest regression),統(tǒng)計人臉朝向。由于廣告牌所在區(qū)域背景比較復(fù)雜，因此需要適合復(fù)雜背景下的人臉檢測算法，由于人臉姿態(tài)變化造成人臉樣本的類內(nèi)方差大， 但分類器很難解決多姿態(tài)的人臉檢測，因此，本發(fā)明的系統(tǒng)中的多姿態(tài)人臉分類器為樹狀結(jié)構(gòu)、且結(jié)合灰度和邊緣特征。對于視頻圖像的每一幀，根據(jù)多姿態(tài)人臉檢測的結(jié)果從圖像中切割出人臉區(qū)域并將其作為訓(xùn)練好的隨機回歸森林的輸入，最終得到人臉朝向的統(tǒng)計結(jié)果。統(tǒng)計單元，用于根據(jù)人臉檢測及姿態(tài)估計單元的統(tǒng)計結(jié)果，以及采集頻率，統(tǒng)計行人觀看比例以及行人觀看時間數(shù)據(jù)，并發(fā)送至評估模塊。如圖2所示，基于上述視覺廣告效果評估系統(tǒng)的視覺廣告效果評估方法包括步驟SI.采集模塊按照設(shè)定采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像；S2.數(shù)據(jù)處理模塊根據(jù)計算機視覺方法及圖像處理方法，對采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過待評估的廣告牌的行人流量、行人觀看比例以及行人觀看的時間數(shù)據(jù)，并將上述數(shù)據(jù)發(fā)送至評估模塊；S3.評估模塊根據(jù)行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)評估待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。在本發(fā)明中，要需要采集和標(biāo)定以下三方面的樣本，以用于行人檢測、行人跟蹤、 以及多姿態(tài)人臉檢測以及姿態(tài)估計I、行人樣本圖像，包括正面/背面、側(cè)面兩類行人樣本圖像；2、人臉樣本圖像，包括各個姿態(tài)的人臉樣本圖像以及相對應(yīng)的姿態(tài)值；3、背景圖像，其中不包含行人，用于在離線訓(xùn)練階段隨機提取負(fù)樣本圖像。步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類器，檢測視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及回歸算法(隨機回歸森林)，統(tǒng)計人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計結(jié)果以及采集頻率，統(tǒng)計行人觀看比例以及行人觀看的時間數(shù)據(jù)。其中，步驟S2. I進(jìn)一步包括S2. 11考慮到行人姿的變化對檢測效果的影響，將行人按姿態(tài)分為正面/背面、及側(cè)面兩類，并利用行人樣本圖像離線訓(xùn)練基于灰度和邊緣特征的分類器。分類器采用如圖3 所示的級聯(lián)結(jié)構(gòu)，對于級聯(lián)結(jié)構(gòu)中的每一層，在保證檢測率的條件下盡可能的降低虛警率。 僅通過前N-I層的行人/非行人樣本可作為第N層分類器訓(xùn)練的正負(fù)樣本。對于每一層， 可訓(xùn)練基于灰度或邊緣特征的分類器，并調(diào)整分類器閾值以保證檢測率要求。S2. 12在視頻圖像中搜索子窗口并利用兩個分類器判別子窗口是否為行人區(qū)域， 并根據(jù)背景圖像以及運動目標(biāo)檢測算法，檢測視頻圖像中的行人。通過所有的級聯(lián)分類器的即可視作行人。考慮到行人的運動變化有助于目標(biāo)檢測，因此在該步驟中，利用背景建模和前景檢測等運動目標(biāo)檢測算法去除背景區(qū)域以更加有效地對運動行人進(jìn)行檢測。優(yōu)選的行人檢測方法為窮舉搜索法首先按一定比例(如I. 25)對圖像進(jìn)行縮放， 并在縮放后的圖像中對樣本尺寸(行人樣本圖像的歸一化尺寸)的窗口進(jìn)行窮舉搜索；對于每個窗口，利用上述分類器進(jìn)行判別是否是行人區(qū)域，若是，則保存窗口參數(shù)。最終對所有尺寸下的檢測結(jié)果進(jìn)行聚類融合得到行人檢測的結(jié)果。由于單個行人可能在連續(xù)幀中多次出現(xiàn)，因此需要對單個行人的軌跡進(jìn)行分析。 步驟S2. 2進(jìn)一步包括S2. 21根據(jù)行人的姿態(tài)估計行人可能的運動方向來設(shè)置跟蹤算法框架的運動模型，該模型用于估計人的姿態(tài)變化并設(shè)置下一時刻的可能姿態(tài)；S2. 22利用運動模型的預(yù)測姿態(tài)的行人檢測器的輸出似然概率設(shè)計跟蹤算法框架的觀測模型；S2. 23根據(jù)度量模型獲取行人軌跡，度量模型由運動模型及觀測模型得到的所有結(jié)果融合得到。在圖像中設(shè)置R0I，對于單幅圖像，根據(jù)檢測到的行人數(shù)量來統(tǒng)計人流量。考慮到在不同視頻幀中行人檢測的結(jié)果可能重合，為更精確地估計人流量，結(jié)合行人軌跡判斷統(tǒng)計處廣告牌所在區(qū)域來往的人流量。步驟S2. 3進(jìn)一步包括S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征訓(xùn)練樹狀結(jié)構(gòu)的多分類器，以及以人臉朝向為輸出的隨機回歸森林。姿態(tài)變化造成人臉正樣本類內(nèi)方差大，因而難以用單個分類器高效地完成區(qū)分人臉/非人臉的任務(wù)。綜合考慮各個姿態(tài)人臉之間的相似點和人臉對稱性，如圖4所示，各級分類器對應(yīng)的人臉樣本如下Level 0 :左右半邊臉；Level I :右半臉及左半臉的水平鏡像；Level 2 :各個角度的人臉樣本，分別為正面人臉、左半側(cè)人臉、左全側(cè)人臉。與分類器I類似，分類器2也有三個子節(jié)點，分別為正面人臉、右半側(cè)人臉和右全側(cè)人臉。考慮到人臉的對稱性，分類器2及其子節(jié)點分類器不需要特別訓(xùn)練，僅需將分類器 I及其子節(jié)點分類器做水平翻轉(zhuǎn)即可。對于每個節(jié)點，訓(xùn)練如圖3所示的級聯(lián)結(jié)構(gòu)分類器， 單個節(jié)點的分類器由多個級聯(lián)的分類器串聯(lián)而成。考慮到各姿態(tài)人臉?biāo)嫉膮^(qū)域大小和形狀并不一致，識別單個姿態(tài)的有效特征在識別其他姿態(tài)時可能無效，因此選擇回歸樹算法；由于單棵回歸樹的精度不高并且不夠穩(wěn)定，因此使用Bagging策略組合多棵回歸樹，即使用回歸森林估計頭部姿態(tài)。在每棵回歸樹的非葉子節(jié)點存儲一個依賴于特征的二值判定，而在葉子節(jié)點則存儲姿態(tài)估計值。S2. 32根據(jù)所述樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)下的人臉。類似于行人檢測，也使用窮舉方法結(jié)合多姿態(tài)人臉分類器實現(xiàn)人臉檢測。為減少搜索范圍，僅在行人區(qū)域的上半部分進(jìn)行多姿態(tài)人臉檢測。注意的是在樹狀多姿態(tài)的每個節(jié)點的樣本尺寸并不相同，因此在通過I級分類器后，需要將人臉窗口進(jìn)行拓展，即根據(jù)通過半臉檢測器的圖像子窗口的大小和位置估計整個人臉窗口位置及大小并將其送入子節(jié)點分類器進(jìn)行進(jìn)一步的檢測。S2. 33根據(jù)步驟S2. 32的檢測結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機回歸森林中所有回歸樹的輸入；S2. 34平均所有回歸樹的估計姿態(tài)角，得到人臉朝向的統(tǒng)計結(jié)果。在步驟S3中，主要任務(wù)是根據(jù)前兩個步驟獲得的統(tǒng)計量對廣告效果進(jìn)行評估。可以給出如下兩個方面的視覺廣告評估參數(shù)I、廣告牌設(shè)置方位的合適程度，主要通過視頻中感興趣區(qū)域的人流量統(tǒng)計實現(xiàn)；2、廣告內(nèi)容的吸引程度，這主要通過觀看行人占所有行人的比例、行人觀看時間等統(tǒng)計量進(jìn)行評估。整個評估方法的原理框圖如圖5所示。本系統(tǒng)及方法具備以下三個方面的特點I、首次將圖像處理和計算機視覺技術(shù)引入視覺廣告的評價體系中。廣告投放的效果對于廠家而言非常重要，而對于廣告牌等非媒體廣告形式而言，一直缺乏一個有效的效果評價系統(tǒng)。本發(fā)明方法針對平面視覺廣告，通過在廣告牌上方設(shè)置安裝攝像頭并獲取分析視頻圖像來評估廣告投放效果。2、在根據(jù)視頻圖像獲取行人流量、行人觀看時間等參數(shù)時采用了多種計算機視覺的關(guān)鍵技術(shù)。并結(jié)合該分類器的輸出構(gòu)建跟蹤算法模型以實現(xiàn)在視頻中的實時行人檢測， 最后綜合利用行人檢測和跟蹤算法實現(xiàn)在視頻圖像中檢測行人。3、在檢測廣告效果時，并不局限于人流量的檢測，還針對廣告牌的吸引程度進(jìn)一步提取更高層次的廣告效果評測參數(shù)。當(dāng)行人在感興趣區(qū)域中時，該系統(tǒng)檢測人臉并進(jìn)行姿態(tài)和朝向估計，從而判斷廣告牌是否引起該行人的注意。該參數(shù)的獲取可讓廠家進(jìn)一步對于廣告設(shè)計的質(zhì)量進(jìn)行評估。以上實施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制。盡管參照實施例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對本發(fā)明的技術(shù)方案進(jìn)行各種組合、修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
9
權(quán)利要求
1.一種視覺廣告效果評估系統(tǒng)，其特征在于，該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像、以及所述設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，與所述采集模塊相連，用于根據(jù)計算機視覺方法及圖像處理方法，對所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過所述待評估的廣告牌的行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評估模塊；評估模塊，與所述數(shù)據(jù)處理模塊相連，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)評估所述待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。
2.如權(quán)利要求I所述的視覺廣告效果評估系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測單元，用于根據(jù)灰度和邊緣特征及區(qū)分式分類器，并結(jié)合所述背景圖像，檢測所述視頻圖像中的行人；行人跟蹤單元，用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測器獲取視頻圖像中的行人軌跡；流量統(tǒng)計單元，用于根據(jù)所述行人檢測單元檢測到的行人數(shù)量以及所述行人跟蹤單元獲取的行人軌跡，統(tǒng)計所述待評估廣告牌所在區(qū)域的行人流量；人臉檢測及姿態(tài)估計單元，用于根據(jù)基于灰度及邊緣特征的樹狀結(jié)構(gòu)多分類器，并結(jié)合背景圖像，檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及回歸算法，統(tǒng)計人臉朝向；統(tǒng)計單元，用于根據(jù)所述人臉檢測及姿態(tài)估計單元的統(tǒng)計結(jié)果，以及所述采集頻率，統(tǒng)計行人觀看比例以及行人觀看時間數(shù)據(jù)，并發(fā)送至所述評估模塊。
3.一種基于權(quán)利要求1-2任一項所述的視覺廣告效果評估系統(tǒng)的視覺廣告效果評估方法，其特征在于，該方法包括步驟51.采集模塊按照設(shè)定采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像；52.數(shù)據(jù)處理模塊根據(jù)計算機視覺方法及圖像處理方法，對所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過所述待評估的廣告牌的行人流量、行人觀看比例以及行人觀看的時間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評估模塊;53.評估模塊根據(jù)所述行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)評估所述待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。
4.如權(quán)利要求3所述的視覺廣告效果評估方法，其特征在于，步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類器，檢測所述視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)的人臉，并根據(jù)檢測結(jié)果以及所述回歸算法，統(tǒng)計人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計結(jié)果以及采集頻率，統(tǒng)計行人觀看比例以及行人觀看的時間數(shù)據(jù)。
5.如權(quán)利要求4所述的視覺廣告效果評估方法，其特征在于，步驟S2.I進(jìn)一步包括 S2. 11將行人按姿態(tài)分為正面/背面、及側(cè)面兩類，并利用行人樣本圖像訓(xùn)練基于灰度和邊緣特征的區(qū)分行人/非行人的分類器；S2. 12在視頻圖像中搜索子窗口并利用所述區(qū)分行人/非行人的分類器判別所述子窗口是否為行人區(qū)域，并根據(jù)背景圖像以及運動目標(biāo)檢測算法，檢測所述視頻圖像中的行人。
6.如權(quán)利要求5所述的視覺廣告效果評估方法，其特征在于，步驟S2.2進(jìn)一步包括 S2. 21根據(jù)行人的姿態(tài)估計行人可能的運動方向來設(shè)置跟蹤算法框架的運動模型；S2. 22利用所述運動模型的預(yù)測姿態(tài)的行人檢測器的輸出似然概率設(shè)計跟蹤算法框架的觀測模型；S2. 23根據(jù)度量模型獲取行人軌跡，所述度量模型由所述運動模型及觀測模型得到的所有結(jié)果融合得到。
7.如權(quán)利要求6所述的視覺廣告效果評估方法，其特征在于，步驟S2.3進(jìn)一步包括 S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征的樹狀結(jié)構(gòu)的多分類器，以及以人臉朝向為輸出的隨機回歸森林；S2. 32根據(jù)所述樹狀結(jié)構(gòu)的多分類器檢測不同姿態(tài)下的人臉；S2. 33根據(jù)步驟S2. 32的檢測結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機回歸森林中所有回歸樹的輸入；S2.34平均所有回歸樹的估計姿態(tài)角，得到人臉朝向的統(tǒng)計結(jié)果。
8.如權(quán)利要求7所述的視覺廣告效果評估方法，其特征在于，使用窮舉搜索法進(jìn)行步驟S2. 12中的行人的檢測，以及步驟S2. 32中的人臉姿態(tài)的檢測。
全文摘要
本發(fā)明公開了一種視覺廣告效果評估系統(tǒng)及方法，圖像處理及計算機視覺技術(shù)領(lǐng)域。該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實時采集設(shè)定范圍內(nèi)經(jīng)過待評估的廣告牌的行人的視頻圖像、以及設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，用于根據(jù)計算機視覺方法及圖像處理方法，對采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過待評估的廣告牌的行人流量、行人觀看比例以及行人觀看時間數(shù)據(jù)，并將數(shù)據(jù)發(fā)送至評估模塊；評估模塊，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看的時間數(shù)據(jù)評估所述待評估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。可以有效地實現(xiàn)對視覺廣告效果進(jìn)行評估，并能進(jìn)行廣告優(yōu)劣的評價，且評估精度高。
文檔編號G06K9/00GK102542492SQ201210006449
公開日2012年7月4日 申請日期2012年1月10日 優(yōu)先權(quán)日2012年1月10日
發(fā)明者丁曉青, 方馳, 李亞利, 王生進(jìn) 申請人:清華大學(xué)