本發(fā)明涉及終端定位技術(shù)領(lǐng)域，具體而言，涉及一種智能終端的定位方法、系統(tǒng)及智能終端。

背景技術(shù)：

當(dāng)前，在室外定位技術(shù)在基于gps(globalpositioningsystem，全球定位系統(tǒng))條件下能夠滿足lbs(locationbasedservice，基于移動位置服務(wù))需求的同時，室內(nèi)定位由于環(huán)境限制，迫切需要能夠代替gps并能夠滿足室內(nèi)定位要求的技術(shù)。目前而言，業(yè)界所提出的室內(nèi)定位技術(shù)有如下幾類：藍(lán)牙、無線局域網(wǎng)、基站定位、主動rfid(radiofrequencyidentification，無線射頻識別)、被動rfid、uwb(ultrawideband，超寬帶)、光跟蹤定位、磁場定位、nfc(nearfieldcommunication，近距離無線通信技術(shù))。

不管是利用無線傳感器網(wǎng)絡(luò)還是其他定位技術(shù)，目前來說都存在各自無法避免的局限性，例如藍(lán)牙技術(shù)一則其定位范圍較小，二則大部分移動終端用戶都沒有隨時打開藍(lán)牙進(jìn)行定位的習(xí)慣，實際應(yīng)用效果不佳；基站定位基于終端本身的蜂窩網(wǎng)絡(luò)信號進(jìn)行三角測定，雖然能夠保證大多數(shù)室內(nèi)空間都有終端信號，但其定位精度為幾十米至上百米不等，這樣的定位精度顯然無法滿足室內(nèi)定位需求；無線局域網(wǎng)有望成為未來室內(nèi)定位技術(shù)的主流，但就目前而言，公共場合的無線局域網(wǎng)熱點信號不強(qiáng)、分布不均以及隱私安全等問題是阻礙其發(fā)展的重要因素。其他室內(nèi)定位技術(shù)也存在諸如精度過低、成本過高、技術(shù)還不夠成熟等問題。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在至少解決現(xiàn)有技術(shù)或相關(guān)技術(shù)中存在的技術(shù)問題之一。

為此，本發(fā)明的一個目的在于提出了一種智能終端的定位方法。

本發(fā)明的另一個目的在于提出了一種智能終端的定位系統(tǒng)。

本發(fā)明的再一個目的在于提出了一種智能終端。

有鑒于此，根據(jù)本發(fā)明的一個目的，提出了一種智能終端的定位方法，包括：獲取圖像；在圖像中提取圖像特征點；根據(jù)圖像特征點，獲取圖像特征點集；根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；通過位姿矩陣，獲取智能終端的攝像頭位置。

本發(fā)明提供的智能終端的定位方法，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先提取圖像的rgb(red，green，blue)圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。根據(jù)圖像特征點獲取圖像特征點集，根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

根據(jù)本發(fā)明的上述智能終端的定位方法，還可以具有以下技術(shù)特征：

在上述技術(shù)方案中，優(yōu)選地，根據(jù)圖像特征點，獲取圖像特征點集的步驟，包括：獲取圖像特征點的二維坐標(biāo)及色彩信息；將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；根據(jù)三維坐標(biāo)以及色彩信息計算得到圖像特征點的均值以及圖像特征點的協(xié)方差；根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集。

在該技術(shù)方案中，通過圖像特征點得到二維坐標(biāo)及色彩信息，再將該二維坐標(biāo)映射至三維空間中，根據(jù)三維坐標(biāo)以及色彩信息通過高斯混合模型得到圖像特征點的均值以及協(xié)方差，進(jìn)而獲取圖像特征點集，實現(xiàn)對終端攝像機(jī)獲取的圖像的識別。

在上述任一技術(shù)方案中，優(yōu)選地，根據(jù)三維坐標(biāo)以及色彩信息計算得到圖像特征點的均值以及圖像特征點的協(xié)方差的步驟，包括：通過高斯混合模型，計算三維坐標(biāo)的深度值的均值以及深度值的方差；根據(jù)三維坐標(biāo)的深度值的均值，獲取三維坐標(biāo)的均值；通過高斯混合模型，計算色彩信息的均值以及色彩信息的方差；根據(jù)三維坐標(biāo)的均值、色彩信息的均值、三維坐標(biāo)的方差、色彩信息的方差，獲取圖像特征點的均值以及圖像特征點的協(xié)方差。

在該技術(shù)方案中，由于提取的圖像特征點位于物體邊緣或色彩變化明顯的地方，特征點處的深度值以及顏色發(fā)生跳變，所以只利用像素得到場景的三維坐標(biāo)及顏色，會導(dǎo)致特征點的深度和顏色測量誤差較大，本發(fā)明通過高斯混合模型計算三維坐標(biāo)的深度值的均值，進(jìn)而獲取三維坐標(biāo)的均值，通過高斯混合模型計算深度值的方差、色彩信息的方差、色彩信息的均值，因此圖像特征點可以近似為均值、協(xié)方差矩陣的多元高斯分布，減小了圖像識別誤差，實現(xiàn)終端的無縫、精確的定位。

在上述任一技術(shù)方案中，優(yōu)選地，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣的步驟，包括：根據(jù)圖像特征點集以及環(huán)境特征點集，獲取圖像特征點集以及環(huán)境特征點集之間的變換矩陣；通過對變換矩陣進(jìn)行采樣，獲取最優(yōu)變換矩陣；將最優(yōu)變換矩陣作為位姿矩陣。

在該技術(shù)方案中，位姿矩陣為攝像頭的位置和攝像頭的姿態(tài)構(gòu)成的矩陣，攝像頭的姿態(tài)分別表示攝像頭的橫滾、俯仰以及航向角，由于獲取的是對于終端攝像頭坐標(biāo)系的三維坐標(biāo)，為了得到攝像頭的位姿矩陣，定義一個相對于全局坐標(biāo)系的環(huán)境特征點集，通過icp(iterativeclosestpoint，迭代最近點算法)算法計算出圖像特征點集與環(huán)境特征點集之間的變換矩陣，此時得到的變換矩陣是當(dāng)前時刻攝像頭位姿矩陣的粗估計值。當(dāng)特征點集與環(huán)境模型特征點集能夠匹配的特征點對數(shù)量較少時，icp算法得到的變換矩陣誤差較大。另外icp算法本身存在收斂于局部最優(yōu)解的可能。因此變換矩陣可能并不是最優(yōu)的位姿估計值。不過變換矩陣已經(jīng)處于攝像頭位姿的高概率區(qū)域，通過在變換矩陣周圍進(jìn)行撒點采樣，能夠求得觀測最優(yōu)的攝像頭位姿，作為攝像頭在t時刻的位姿矩陣。由于圖像特征點集與環(huán)境特征點集均為提取的稀疏特征點，數(shù)據(jù)量不大，因此效率較快。

在上述任一技術(shù)方案中，優(yōu)選地，通過位姿矩陣，獲取智能終端的攝像頭位置，具體包括：通過位姿矩陣，將智能終端的攝像頭位置在攝像頭坐標(biāo)系轉(zhuǎn)換到全局坐標(biāo)系。

在該技術(shù)方案中，根據(jù)位姿矩陣將攝像頭位置變換到全局坐標(biāo)系下，就獲得了終端攝像頭(用戶)的具體位置坐標(biāo)，從而為室內(nèi)定位及導(dǎo)航服務(wù)應(yīng)用提供精準(zhǔn)的位置信息。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：更新環(huán)境特征點集。

在該技術(shù)方案中，對已有的t-1時刻的環(huán)境特征點集進(jìn)行更新，從而得到t時刻的環(huán)境特征點集，進(jìn)而繼續(xù)計算t+1時刻的位姿矩陣。

根據(jù)本發(fā)明的另一個目的，提出了一種智能終端的定位系統(tǒng)，包括：圖像獲取單元，用于獲取圖像；提取單元，用于在圖像中提取圖像特征點；特征點集獲取單元，用于根據(jù)圖像特征點，獲取圖像特征點集；位姿獲取單元，用于根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；位置獲取單元，用于通過位姿矩陣，獲取智能終端的攝像頭位置。

本發(fā)明提供的智能終端的定位系統(tǒng)，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先通過提取單元提取圖像的rgb圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。特征點集獲取單元根據(jù)圖像特征點獲取圖像特征點集，位姿獲取單元根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，位置獲取單元根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

根據(jù)本發(fā)明的上述智能終端的定位系統(tǒng)，還可以具有以下技術(shù)特征：

在上述技術(shù)方案中，優(yōu)選地，特征點集獲取單元，具體用于：獲取圖像特征點的二維坐標(biāo)及色彩信息；將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；根據(jù)三維坐標(biāo)以及色彩信息計算得到圖像特征點的均值以及圖像特征點的協(xié)方差；根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集。

在該技術(shù)方案中，特征點集獲取單元通過圖像特征點得到二維坐標(biāo)及色彩信息，再將該二維坐標(biāo)映射至三維空間中，根據(jù)三維坐標(biāo)以及色彩信息通過高斯混合模型得到圖像特征點的均值以及協(xié)方差，進(jìn)而獲取圖像特征點集，實現(xiàn)對終端攝像機(jī)獲取的圖像的識別。

在上述任一技術(shù)方案中，優(yōu)選地，特征點集獲取單元，還用于：通過高斯混合模型，計算三維坐標(biāo)的深度值的均值以及深度值的方差；根據(jù)三維坐標(biāo)的深度值的均值，獲取三維坐標(biāo)的均值；通過高斯混合模型，計算色彩信息的均值以及色彩信息的方差；根據(jù)三維坐標(biāo)的均值、色彩信息的均值、三維坐標(biāo)的方差、色彩信息的方差，獲取圖像特征點的均值以及圖像特征點的協(xié)方差。

在該技術(shù)方案中，由于提取的圖像特征點位于物體邊緣或色彩變化明顯的地方，特征點處的深度值以及顏色發(fā)生跳變，所以只利用像素得到場景的三維坐標(biāo)及顏色，會導(dǎo)致特征點的深度和顏色測量誤差較大，特征點集獲取單元通過高斯混合模型計算三維坐標(biāo)的深度值的均值，進(jìn)而獲取三維坐標(biāo)的均值，通過高斯混合模型計算深度值的方差、色彩信息的方差、色彩信息的均值，因此圖像特征點可以近似為均值、協(xié)方差矩陣的多元高斯分布，減小了圖像識別誤差，實現(xiàn)終端的無縫、精確的定位。

在上述任一技術(shù)方案中，優(yōu)選地，位姿獲取單元，具體用于：根據(jù)圖像特征點集以及環(huán)境特征點集，獲取圖像特征點集以及環(huán)境特征點集之間的變換矩陣；通過對變換矩陣進(jìn)行采樣，獲取最優(yōu)變換矩陣；將最優(yōu)變換矩陣作為位姿矩陣。

在該技術(shù)方案中，位姿矩陣為攝像頭的位置和攝像頭的姿態(tài)構(gòu)成的矩陣，攝像頭的姿態(tài)分別表示攝像頭的橫滾、俯仰以及航向角，由于獲取的是對于終端攝像頭坐標(biāo)系的三維坐標(biāo)，為了得到攝像頭的位姿矩陣，定義一個相對于全局坐標(biāo)系的環(huán)境特征點集，位姿獲取單元通過icp算法計算出圖像特征點集與環(huán)境特征點集之間的變換矩陣，此時得到的變換矩陣是當(dāng)前時刻攝像頭位姿矩陣的粗估計值。當(dāng)特征點集與環(huán)境模型特征點集能夠匹配的特征點對數(shù)量較少時，icp算法得到的變換矩陣誤差較大。另外icp算法本身存在收斂于局部最優(yōu)解的可能。因此變換矩陣可能并不是最優(yōu)的位姿估計值。不過變換矩陣已經(jīng)處于攝像頭位姿的高概率區(qū)域，通過在變換矩陣周圍進(jìn)行撒點采樣，能夠求得觀測最優(yōu)的攝像頭位姿，作為攝像頭在t時刻的位姿矩陣。由于圖像特征點集與環(huán)境特征點集均為提取的稀疏特征點，數(shù)據(jù)量不大，因此效率較快。

在上述任一技術(shù)方案中，優(yōu)選地，位置獲取單元，具體用于：通過位姿矩陣，將智能終端的攝像頭位置在攝像頭坐標(biāo)系轉(zhuǎn)換到全局坐標(biāo)系。

在該技術(shù)方案中，根據(jù)位姿矩陣將攝像頭位置變換到全局坐標(biāo)系下，就獲得了終端攝像頭(用戶)的具體位置坐標(biāo)，從而為室內(nèi)定位及導(dǎo)航服務(wù)應(yīng)用提供精準(zhǔn)的位置信息。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：更新單元，用于更新環(huán)境特征點集。

在該技術(shù)方案中，對已有的t-1時刻的環(huán)境特征點集進(jìn)行更新，從而得到t時刻的環(huán)境特征點集，進(jìn)而繼續(xù)計算t+1時刻的位姿矩陣。

根據(jù)本發(fā)明的再一個目的，提出了一種智能終端，包括上述任一項的智能終端的定位系統(tǒng)。

本發(fā)明提供的智能終端包括智能終端的定位系統(tǒng)，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先通過提取單元提取圖像的rgb圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。特征點集獲取單元根據(jù)圖像特征點獲取圖像特征點集，位姿獲取單元根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，位置獲取單元根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

本發(fā)明的附加方面和優(yōu)點將在下面的描述部分中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1示出了本發(fā)明的一個實施例的一種智能終端的定位方法的流程示意圖；

圖2示出了本發(fā)明的另一個實施例的智能終端的定位方法的流程示意圖；

圖3示出了本發(fā)明的再一個實施例的智能終端的定位方法的流程示意圖；

圖4示出了本發(fā)明的一個實施例的智能終端的定位系統(tǒng)的示意框圖；

圖5示出了本發(fā)明的一個具體實施例的智能終端的定位方法的流程示意圖；

圖6示出了本發(fā)明的一個具體實施例的智能終端的結(jié)構(gòu)示意圖。

具體實施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結(jié)合附圖和具體實施方式對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明的保護(hù)范圍并不限于下面公開的具體實施例的限制。

本發(fā)明第一方面的實施例，提出一種智能終端的定位方法，圖1示出了本發(fā)明的一個實施例的智能終端的定位方法的流程示意圖：

步驟102，獲取圖像；

步驟104，在圖像中提取圖像特征點；

步驟106，根據(jù)圖像特征點，獲取圖像特征點集；

步驟108，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

步驟110，通過位姿矩陣，獲取智能終端的攝像頭位置。

本發(fā)明提供的智能終端的定位方法，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先提取圖像的rgb圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。根據(jù)圖像特征點獲取圖像特征點集，根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

圖2示出了本發(fā)明的另一個實施例的智能終端的定位方法的流程示意圖，下面參照圖2描述根據(jù)本發(fā)明一些實施例所述的智能終端的定位方法。

在本發(fā)明的一個實施例中，如圖2所示，優(yōu)選地，智能終端的定位方法包括：

步驟202，獲取圖像；

步驟204，在圖像中提取圖像特征點；

步驟206，獲取圖像特征點的二維坐標(biāo)及色彩信息；

步驟208，將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；

步驟210，根據(jù)三維坐標(biāo)以及色彩信息計算得到圖像特征點的均值以及圖像特征點的協(xié)方差；

步驟212，根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集；

步驟214，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

步驟216，通過位姿矩陣，獲取智能終端的攝像頭位置。

在該實施例中，通過圖像特征點得到二維坐標(biāo)及色彩信息，再將該二維坐標(biāo)映射至三維空間中，根據(jù)三維坐標(biāo)以及色彩信息通過高斯混合模型得到圖像特征點的均值以及協(xié)方差，進(jìn)而獲取圖像特征點集，實現(xiàn)對終端攝像機(jī)獲取的圖像的識別。

在本發(fā)明的一個實施例中，如圖2所示，優(yōu)選地，智能終端的定位方法包括：

步驟202，獲取圖像；

步驟204，在圖像中提取圖像特征點；

步驟206，獲取圖像特征點的二維坐標(biāo)及色彩信息；

步驟208，將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；

步驟2102，通過高斯混合模型，計算三維坐標(biāo)的深度值的均值以及深度值的方差；

步驟2104，根據(jù)三維坐標(biāo)的深度值的均值，獲取三維坐標(biāo)的均值；

步驟2106，通過高斯混合模型，計算色彩信息的均值以及色彩信息的方差；

步驟2108，根據(jù)三維坐標(biāo)的均值、色彩信息的均值、三維坐標(biāo)的方差、色彩信息的方差，獲取圖像特征點的均值以及圖像特征點的協(xié)方差；

步驟212，根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集；

步驟214，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

步驟216，通過位姿矩陣，獲取智能終端的攝像頭位置。

在該實施例中，由于提取的圖像特征點位于物體邊緣或色彩變化明顯的地方，特征點處的深度值以及顏色發(fā)生跳變，所以只利用像素得到場景的三維坐標(biāo)及顏色，會導(dǎo)致特征點的深度和顏色測量誤差較大，本發(fā)明通過高斯混合模型計算三維坐標(biāo)的深度值的均值，進(jìn)而獲取三維坐標(biāo)的均值，通過高斯混合模型計算深度值的方差、色彩信息的方差、色彩信息的均值，因此圖像特征點可以近似為均值、協(xié)方差矩陣的多元高斯分布，減小了圖像識別誤差，實現(xiàn)終端的無縫、精確的定位。

在本發(fā)明的一個實施例中，如圖2所示，優(yōu)選地，智能終端的定位方法包括：

步驟202，獲取圖像；

步驟204，在圖像中提取圖像特征點；

步驟206，獲取圖像特征點的二維坐標(biāo)及色彩信息；

步驟208，將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；

步驟2102，通過高斯混合模型，計算三維坐標(biāo)的深度值的均值以及深度值的方差；

步驟2104，根據(jù)三維坐標(biāo)的深度值的均值，獲取三維坐標(biāo)的均值；

步驟2106，通過高斯混合模型，計算色彩信息的均值以及色彩信息的方差；

步驟2108，根據(jù)三維坐標(biāo)的均值、色彩信息的均值、三維坐標(biāo)的方差、色彩信息的方差，獲取圖像特征點的均值以及圖像特征點的協(xié)方差。

步驟212，根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集；

步驟2142，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取圖像特征點集以及環(huán)境特征點集之間的變換矩陣；

步驟2144，通過對變換矩陣進(jìn)行采樣，獲取最優(yōu)變換矩陣；

步驟2146，將最優(yōu)變換矩陣作為位姿矩陣；

步驟216，通過位姿矩陣，獲取智能終端的攝像頭位置。

在該實施例中，位姿矩陣為攝像頭的位置和攝像頭的姿態(tài)構(gòu)成的矩陣，攝像頭的姿態(tài)分別表示攝像頭的橫滾、俯仰以及航向角，由于獲取的是對于終端攝像頭坐標(biāo)系的三維坐標(biāo)，為了得到攝像頭的位姿矩陣，定義一個相對于全局坐標(biāo)系的環(huán)境特征點集，通過icp算法計算出圖像特征點集與環(huán)境特征點集之間的變換矩陣，此時得到的變換矩陣是當(dāng)前時刻攝像頭位姿矩陣的粗估計值。當(dāng)特征點集與環(huán)境模型特征點集能夠匹配的特征點對數(shù)量較少時，icp算法得到的變換矩陣誤差較大。另外icp算法本身存在收斂于局部最優(yōu)解的可能。因此變換矩陣可能并不是最優(yōu)的位姿估計值。不過變換矩陣已經(jīng)處于攝像頭位姿的高概率區(qū)域，通過在變換矩陣周圍進(jìn)行撒點采樣，能夠求得觀測最優(yōu)的攝像頭位姿，作為攝像頭在t時刻的位姿矩陣。由于圖像特征點集與環(huán)境特征點集均為提取的稀疏特征點，數(shù)據(jù)量不大，因此效率較快。

在本發(fā)明的一個實施例中，優(yōu)選地，通過位姿矩陣，獲取智能終端的攝像頭位置，具體包括：通過位姿矩陣，將智能終端的攝像頭位置在攝像頭坐標(biāo)系轉(zhuǎn)換到全局坐標(biāo)系。

在該實施例中，根據(jù)位姿矩陣將攝像頭位置變換到全局坐標(biāo)系下，就獲得了終端攝像頭(用戶)的具體位置坐標(biāo)，從而為室內(nèi)定位及導(dǎo)航服務(wù)應(yīng)用提供精準(zhǔn)的位置信息。

圖3示出了本發(fā)明的再一個實施例的智能終端的定位方法的流程示意圖：

步驟302，獲取圖像；

步驟304，在圖像中提取圖像特征點；

步驟306，根據(jù)圖像特征點，獲取圖像特征點集；

步驟308，根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

步驟310，通過位姿矩陣，獲取智能終端的攝像頭位置；

步驟312，更新環(huán)境特征點集。

在該實施例中，對已有的t-1時刻的環(huán)境特征點集進(jìn)行更新，從而得到t時刻的環(huán)境特征點集，進(jìn)而繼續(xù)計算t+1時刻的位姿矩陣。

本發(fā)明第二方面的實施例，提出一種智能終端的定位系統(tǒng)400，圖4示出了本發(fā)明的一個實施例的智能終端的定位系統(tǒng)400的示意框圖：

圖像獲取單元402，用于獲取圖像；

提取單元404，用于在圖像中提取圖像特征點；

特征點集獲取單元406，用于根據(jù)圖像特征點，獲取圖像特征點集；

位姿獲取單元408，用于根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

位置獲取單元410，用于通過位姿矩陣，獲取智能終端的攝像頭位置。

本發(fā)明提供的智能終端的定位系統(tǒng)400，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先通過提取單元404提取圖像的rgb圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。特征點集獲取單元406根據(jù)圖像特征點獲取圖像特征點集，位姿獲取單元408根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，位置獲取單元410根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

在本發(fā)明的一個實施例中，優(yōu)選地，特征點集獲取單元406，具體用于：獲取圖像特征點的二維坐標(biāo)及色彩信息；將圖像特征點的二維坐標(biāo)轉(zhuǎn)換為圖像特征點的攝像頭坐標(biāo)系下的三維坐標(biāo)；根據(jù)三維坐標(biāo)以及色彩信息計算得到圖像特征點的均值以及圖像特征點的協(xié)方差；根據(jù)圖像特征點的均值以及協(xié)方差，獲取圖像特征點集。

在該實施例中，特征點集獲取單元406通過圖像特征點得到二維坐標(biāo)及色彩信息，再將該二維坐標(biāo)映射至三維空間中，根據(jù)三維坐標(biāo)以及色彩信息通過高斯混合模型得到圖像特征點的均值以及協(xié)方差，進(jìn)而獲取圖像特征點集，實現(xiàn)對終端攝像機(jī)獲取的圖像的識別。

在本發(fā)明的一個實施例中，優(yōu)選地，特征點集獲取單元406，還用于：通過高斯混合模型，計算三維坐標(biāo)的深度值的均值以及深度值的方差；根據(jù)三維坐標(biāo)的深度值的均值，獲取三維坐標(biāo)的均值；通過高斯混合模型，計算色彩信息的均值以及色彩信息的方差；根據(jù)三維坐標(biāo)的均值、色彩信息的均值、三維坐標(biāo)的方差、色彩信息的方差，獲取圖像特征點的均值以及圖像特征點的協(xié)方差。

在該實施例中，由于提取的圖像特征點位于物體邊緣或色彩變化明顯的地方，特征點處的深度值以及顏色發(fā)生跳變，所以只利用像素得到場景的三維坐標(biāo)及顏色，會導(dǎo)致特征點的深度和顏色測量誤差較大，特征點集獲取單元406通過高斯混合模型計算三維坐標(biāo)的深度值的均值，進(jìn)而獲取三維坐標(biāo)的均值，通過高斯混合模型計算深度值的方差、色彩信息的方差、色彩信息的均值，因此圖像特征點可以近似為均值、協(xié)方差矩陣的多元高斯分布，減小了圖像識別誤差，實現(xiàn)終端的無縫、精確的定位。

在本發(fā)明的一個實施例中，優(yōu)選地，位姿獲取單元408，具體用于：根據(jù)圖像特征點集以及環(huán)境特征點集，獲取圖像特征點集以及環(huán)境特征點集之間的變換矩陣；通過對變換矩陣進(jìn)行采樣，獲取最優(yōu)變換矩陣；將最優(yōu)變換矩陣作為位姿矩陣。

在該實施例中，位姿矩陣為攝像頭的位置和攝像頭的姿態(tài)構(gòu)成的矩陣，攝像頭的姿態(tài)分別表示攝像頭的橫滾、俯仰以及航向角，由于獲取的是對于終端攝像頭坐標(biāo)系的三維坐標(biāo)，為了得到攝像頭的位姿矩陣，定義一個相對于全局坐標(biāo)系的環(huán)境特征點集，位姿獲取單元408通過icp算法計算出圖像特征點集與環(huán)境特征點集之間的變換矩陣，此時得到的變換矩陣是當(dāng)前時刻攝像頭位姿矩陣的粗估計值。當(dāng)特征點集與環(huán)境模型特征點集能夠匹配的特征點對數(shù)量較少時，icp算法得到的變換矩陣誤差較大。另外icp算法本身存在收斂于局部最優(yōu)解的可能。因此變換矩陣可能并不是最優(yōu)的位姿估計值。不過變換矩陣已經(jīng)處于攝像頭位姿的高概率區(qū)域，通過在變換矩陣周圍進(jìn)行撒點采樣，能夠求得觀測最優(yōu)的攝像頭位姿，作為攝像頭在t時刻的位姿矩陣。由于圖像特征點集與環(huán)境特征點集均為提取的稀疏特征點，數(shù)據(jù)量不大，因此效率較快。

在本發(fā)明的一個實施例中，優(yōu)選地，位置獲取單元410，具體用于：通過位姿矩陣，將智能終端的攝像頭位置在攝像頭坐標(biāo)系轉(zhuǎn)換到全局坐標(biāo)系。

在該實施例中，根據(jù)位姿矩陣將攝像頭位置變換到全局坐標(biāo)系下，就獲得了終端攝像頭(用戶)的具體位置坐標(biāo)，從而為室內(nèi)定位及導(dǎo)航服務(wù)應(yīng)用提供精準(zhǔn)的位置信息。

在本發(fā)明的一個實施例中，如圖4所示，優(yōu)選地，還包括：更新單元412，用于更新環(huán)境特征點集。

在該實施例中，對已有的t-1時刻的環(huán)境特征點集進(jìn)行更新，從而得到t時刻的環(huán)境特征點集，進(jìn)而繼續(xù)計算t+1時刻的位姿矩陣。

本發(fā)明第三方面的實施例，提出一種智能終端，包括上述任一項的智能終端的定位系統(tǒng)400。

本發(fā)明提供的智能終端包括智能終端的定位系統(tǒng)400，智能終端攝像頭拍攝當(dāng)前環(huán)境的圖像，首先通過提取單元404提取圖像的rgb圖像的二維圖像特征點，提取方法可以選用shi-tomasi方法進(jìn)行二維圖像特征點提取，其在一定程度上兼顧了速度和魯棒性。特征點集獲取單元406根據(jù)圖像特征點獲取圖像特征點集，位姿獲取單元408根據(jù)圖像特征點集得到智能終端攝像頭的位姿矩陣，位置獲取單元410根據(jù)位姿矩陣將攝像頭的位置變換到全局坐標(biāo)系下，獲得攝像頭的具體位置。本發(fā)明由于不需要過多地與外界信息源進(jìn)行數(shù)據(jù)交換，定位效率較高，可以單獨也可與其他定位技術(shù)相結(jié)合，提高室內(nèi)定位的精度與速度，能夠為智能終端的室內(nèi)定位提供有益的助力。

本發(fā)明關(guān)鍵技術(shù)在于圖像識別以及相機(jī)的位姿計算，相機(jī)(即移動終端設(shè)備)可通過與服務(wù)器的室內(nèi)地理信息數(shù)據(jù)庫提供的位置匹配服務(wù)精確地定位移動終端設(shè)備以及用戶所在的室內(nèi)位置。而后可以根據(jù)用戶在應(yīng)用終端輸入的服務(wù)請求(室內(nèi)導(dǎo)航、查詢等)，生成最終的解決方案并反饋給用戶。本發(fā)明具體方案旨在說明通過終端攝像頭拍攝的照片定位的過程。

一.基于rgb圖像的圖像識別

終端攝像頭能夠拍攝分辨率非常高的真彩色影像，針對影像進(jìn)行圖像識別分為如下幾個步驟：

1.二維特征點提取

終端相機(jī)拍攝的當(dāng)前環(huán)境的照片，首先需要提取其rgb圖像的二維特征點，常用的特征提取及描述方法有sift(scaleinvariantfeaturetransform，尺度不變特征變換)、surf(speeduprobustfeatures，加速魯棒特征)、orb(orientedfastandrotatedbrief)算法以及shi-tomasi方法等。由于sift和surf方法提取速度較慢，而orb算法雖然速度快但魯棒性不夠高，因此本發(fā)明選用shi-tomasi方法進(jìn)行二維特征點提取，其在一定程度上兼顧了速度和魯棒性。在提取出圖像的二維特征點后，可以得到每個特征點在圖像中的二維坐標(biāo)(u，v)和對應(yīng)的色彩信息(r，g，b)，然后即可將該二維坐標(biāo)映射至三維空間中。

2.三維映射

rgb圖像中的特征點(u，v)，其深度值為z，則該點在攝像頭坐標(biāo)系下的三維位置為

其中，f為相機(jī)焦距，而(cx，cy)為影像的中心。以影像分辨為640×480為例，則cx為320，而cy為240。

根據(jù)式(1)，可以得到(u，v，z)相對于攝像頭坐標(biāo)系的三維坐標(biāo)(x，y，z)。然而該位置具有一定的不確定性，深度的測量值實際上是一個均值為μz的高斯隨機(jī)變量，其標(biāo)準(zhǔn)差σz＝1.45×10^-3μz²，其中μz為深度的測量值。同樣，色彩信息(r，g，b)的測量也存在一定偏差。

由于提取出的特征點通常位于物體邊緣或色彩變化明顯的地方，因此特征點處深度值以及顏色容易發(fā)生跳變。所以只利用像素(u，v)得到場景的三維坐標(biāo)及顏色，會導(dǎo)致特征點的深度和顏色測量誤差較大，進(jìn)而導(dǎo)致x和y誤差較大。同時特征點的提取位置(u，v)也存在一定誤差，因此本發(fā)明利用高斯混合模型計算特征點的深度值和rgb值。

3.高斯混合模型

假定特征點位置(u，v)存在1個像素的誤差，即u的標(biāo)準(zhǔn)差和v的標(biāo)準(zhǔn)差σu＝σv＝1，選取特征點(u，v)周圍的3×3窗口，共9個像素來計算特征點處的深度值及其方差。假定每個像素深度值zi是均值為μzi、方差為σzi²的高斯分布。那么根據(jù)高斯混合模型，特征點深度的均值μz和方差σz²如式(2)所示：

其中，ω即為上述9個像素各自的特征點權(quán)重值，特征點處的權(quán)重值取1/4，特征點上下左右4個點權(quán)重值均為1/8，斜對角處的像素點權(quán)重值取1/16。

與深度值類似，特征點處的r、g、b也為9個像素點的加權(quán)和，本發(fā)明假定色彩標(biāo)準(zhǔn)差σc為常數(shù)，那么以r通道為例：

至此，得到了特征點的三維坐標(biāo)和顏色值，以及深度方差和顏色方差。

4.特征點的協(xié)方差矩陣

將式(2)得到的μz以及(u，v)帶入式(1)可以得到特征點經(jīng)過高斯混合模型后的三維坐標(biāo)μxyz＝[μx，μy，μz]，同理可以得到色彩信息的三維坐標(biāo)μrgb＝[μr，μg，μb]。令特征點為μ＝[μxyz，μrgb]t，那么其誤差協(xié)方差矩陣σ為

根據(jù)式(1)可以推得：

而為式(2)、(3)所得。因此特征點p＝[x，y，z，r，g，b]^t可以近似為均值為μ＝[μxyz，μrgb]^t、協(xié)方差矩陣為σ的多元高斯分布。

在獲取到照片影像中的可用于識別的特征點信息后，照片影像的識別最為關(guān)鍵的部分也就完成了，之后的關(guān)鍵一步即根據(jù)這些特征點信息反解算攝像頭所處位姿(即終端位姿，可進(jìn)一步近似或修正為用戶所處位置)。

二.基于slam(simultaneouslocalizationandmapping，即使定位與地圖構(gòu)建)技術(shù)的終端位姿計算

slam是廣泛應(yīng)用于智能機(jī)器人領(lǐng)域的技術(shù)，其針對機(jī)器人需要實時識別環(huán)境的特殊情況，解算的位姿都是實時連續(xù)的。而對于本發(fā)明的使用環(huán)境，盡管在理論上對終端位姿做到實時計算也是無可厚非，但是考慮到室內(nèi)定位相對于智能機(jī)器人，對實時位姿的精度要求要略低，并且終端還可以依靠自身的傳感器進(jìn)行步態(tài)修正以及其他方式補(bǔ)充定位精度。另外，終端還要保證其他大量的與定位無關(guān)的功能正常使用。所以，本發(fā)明中針對終端室內(nèi)定位的特殊情況，將slam技術(shù)的計算頻率降低，以滿足終端室內(nèi)定位精度的頻率為準(zhǔn)，每隔一段時間間隔進(jìn)行一次終端位姿計算，對終端位姿進(jìn)行更新與糾正。

將t時刻的影像特征點集定義為數(shù)據(jù)特征點集，dt＝{μ^di,σ^di}，其中σdi形式如式(4)。(μdi，σdi)表示數(shù)據(jù)特征點集中第i個特征點的位置顏色均值以及協(xié)方差矩陣。由于是相對于終端攝像頭坐標(biāo)系的三維坐標(biāo)，因此dt中的每個點都是相對于終端攝像頭坐標(biāo)系的。為了得到攝像頭(終端)的位姿，定義一個相對于全局坐標(biāo)系的環(huán)境模型特征點集mt＝{μ^mi,σ^mi}。

攝像頭t時刻的位姿為其中txyz＝[tx,ty,tz]為攝像頭的位置，為攝像頭的姿態(tài)，分別表示攝像頭的橫滾、俯仰以及航向角。而攝像頭位姿xt可以用位姿矩陣pt表示：

其中，r3×3為攝像頭的姿態(tài)矩陣，由決定。

1.攝像頭位姿估計

本發(fā)明采用icp算法計算出特征點集dt與環(huán)境模型特征點集mt-1之間的變換矩陣tt，而后再進(jìn)行采樣得到觀測最優(yōu)的位姿值，作為攝像頭在t時刻的位姿矩陣pt。

icp算法又稱迭代最近點算法，是對齊兩幀點云的常用方法，該算法有兩個關(guān)鍵點：一為尋找兩幀點云間的對應(yīng)點對；二為根據(jù)這些對應(yīng)點對計算使得兩幀點云距離最小的變換矩陣。icp算法能夠比較準(zhǔn)確地得到兩幀點云間的變換矩陣，不過算法本身對初值比較敏感，當(dāng)初始變換選擇不恰當(dāng)時，算法可能會陷入局部最優(yōu)解。另外，當(dāng)點云數(shù)據(jù)密集時，由于數(shù)據(jù)量巨大，算法運行時間長，并不能滿足實時性的要求。

本發(fā)明利用icp算法計算出特征點集dt與環(huán)境模型特征點集mt-1之間的變換矩陣tt，由于數(shù)據(jù)集與模型集均為提取的稀疏特征點，數(shù)據(jù)量不大，因此效率較快。在假定用戶以固定的步幅行走并定時打開終端攝像頭進(jìn)行一次影像采集的情況下，在t-2到t-1時間間隔內(nèi)，用戶的運動變化量δt＝pt-1/pt-2，為了計算pt，設(shè)置本發(fā)明中icp算法初值t＝pt-1δt。不斷迭代最終得到攝像頭相對于全局坐標(biāo)系的變換矩陣tt。

本發(fā)明在使用icp算法時，由于采樣的頻率不是很高，切初始值可以借助其他室內(nèi)定位技術(shù)進(jìn)行精度補(bǔ)充，所以可以避免上述icp算法的劣勢。

2.攝像頭位姿優(yōu)化

此時得到的變換矩陣tt是當(dāng)前時刻攝像頭位姿矩陣pt的粗估計值。在有些情況下，當(dāng)特征點集與環(huán)境模型特征點集能夠匹配的特征點對數(shù)量較少時，icp算法得到的變換矩陣誤差較大。另外，前面提到，icp算法本身存在收斂于局部最優(yōu)解的可能。因此tt可能并不是最優(yōu)的位姿估計值。不過，tt已經(jīng)處于攝像頭位姿的高概率區(qū)域，通過在tt周圍進(jìn)行撒點采樣，能夠求得觀測最優(yōu)的攝像頭位姿pt≈tt。而后根據(jù)已有的環(huán)境模型特征點集mt-1，對其進(jìn)行更新，從而得到t時刻的模型集mt。

最后根據(jù)位姿矩陣pt將攝像頭位置變換到全局坐標(biāo)系下，就獲得了終端攝像頭(用戶)的具體位置坐標(biāo)，從而為需要進(jìn)行室內(nèi)定位及導(dǎo)航服務(wù)應(yīng)用提供精準(zhǔn)的位置信息。

圖5示出了本發(fā)明的一個具體實施例的智能終端的定位方法的流程示意圖：

步驟502，通過終端相機(jī)獲取圖像；

步驟504，在圖像中提取圖像特征點；

步驟506，通過高斯混合模型，獲取圖像特征點協(xié)方差矩陣；

步驟508，獲取環(huán)境特征點集；

步驟510，更新環(huán)境特征點集；

步驟512，根據(jù)圖像特征點集以及環(huán)境特征點集，通過icp算法，獲取位姿矩陣；

步驟514，位姿矩陣優(yōu)化；

步驟516，通過位姿矩陣，獲取智能終端的攝像頭位置。

圖6示出了本發(fā)明的一個具體實施例的智能終端600的結(jié)構(gòu)示意圖，智能終端600包括：處理器602、存儲器604、總線606、顯示器608、攝像頭610，處理器602、存儲器604、顯示器608、攝像頭610通過總線606連接，存儲器604存儲有計算機(jī)指令，處理器602通過執(zhí)行計算機(jī)指令實現(xiàn)以下方法：

獲取圖像；

在圖像中提取圖像特征點；

根據(jù)圖像特征點，獲取圖像特征點集；

根據(jù)圖像特征點集以及環(huán)境特征點集，獲取位姿矩陣；

通過位姿矩陣，獲取智能終端的攝像頭位置。

在本說明書的描述中，術(shù)語“一個實施例”、“一些實施例”、“具體實施例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或?qū)嵗６遥枋龅木唧w特征、結(jié)構(gòu)、材料或特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。