本發(fā)明涉及一種人機(jī)互動(dòng)技術(shù)，具體涉及一種可用于任意普通墻面的人機(jī)互動(dòng)系統(tǒng)。

背景技術(shù)：

人機(jī)交互界面作為一個(gè)獨(dú)立的、重要的研究領(lǐng)域是全世界電腦廠商一直關(guān)注的重點(diǎn)，并且它也成為近年來(lái)計(jì)算機(jī)行業(yè)眾多商家競(jìng)爭(zhēng)的又一塊新的領(lǐng)域。計(jì)算機(jī)技術(shù)和人機(jī)交互界面技術(shù)的發(fā)展也同時(shí)引導(dǎo)了與其相關(guān)的軟硬件技術(shù)的發(fā)展。上世紀(jì)90年代以來(lái)，計(jì)算機(jī)的軟、硬件技術(shù)都取得了較快的發(fā)展，與此同時(shí)，計(jì)算機(jī)也進(jìn)入了尋常百姓家，家家都有計(jì)算機(jī)，這要求了用戶界面在系統(tǒng)設(shè)計(jì)和軟件開發(fā)中有較高的用戶體驗(yàn)。因此，觸控與體感控制技術(shù)也應(yīng)運(yùn)而生。毫無(wú)疑問(wèn)，作為虛擬現(xiàn)實(shí)技術(shù)和動(dòng)作捕捉技術(shù)的一種新形式，體感傳感器的觸控技術(shù)在未來(lái)有著廣闊的發(fā)展前景和應(yīng)用途徑，這會(huì)是傳統(tǒng)的多媒體通信技術(shù)的進(jìn)化和升級(jí)，它將不僅僅改變的是交流形式，更改變的是一種傳播理念。它還可以利用新奇的視覺(jué)效應(yīng)和精彩的動(dòng)感效應(yīng)將信息傳播與互動(dòng)用戶放在一起，互動(dòng)者在感受互動(dòng)并且操控虛擬畫面的整個(gè)過(guò)程中很自然地接受了畫面中傳遞出的元素與信息，顯然這種內(nèi)在吸引力輕而易舉的就能占據(jù)用戶的內(nèi)心，從而是其達(dá)到一種互動(dòng)情感的共鳴。當(dāng)前，體感控制屬于多通道、多媒介智能人機(jī)交互技術(shù)階段，在人們漸漸接受計(jì)算機(jī)和計(jì)算機(jī)不斷適應(yīng)人類的一整套交互過(guò)程中，體感交互技術(shù)有了更加新奇的手段：指尖的微小動(dòng)作、空氣中振動(dòng)的聲波等都可以完成信息傳播，實(shí)現(xiàn)人與電腦之間的互動(dòng)。

但是目前體感控制技術(shù)一般都是與屏幕（例如拼接屏幕）相聯(lián)系的，如果能夠?qū)⑵鋽U(kuò)展到任意普通墻面，實(shí)現(xiàn)人與任意墻面的互動(dòng)，將能使傳播形式更加豐富多彩。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的發(fā)明目的是提供一種基于3D傳感器定位技術(shù)的人機(jī)互動(dòng)系統(tǒng)，通過(guò)對(duì)使用者的即時(shí)動(dòng)態(tài)捕捉，并對(duì)使用者的外部動(dòng)作做出精確感應(yīng)，實(shí)現(xiàn)基于任意墻面的觸控與體感控制。本發(fā)明的另一個(gè)目的是提供一種基于該系統(tǒng)的人機(jī)互動(dòng)方法。

為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種基于3D傳感器定位技術(shù)的人機(jī)互動(dòng)系統(tǒng)，包括控制主機(jī)、傳感器、互動(dòng)平面和控制軟件，所述傳感器為包括紅外線攝像頭和彩色攝影頭的3D傳感器，所述互動(dòng)平面為普通墻面；設(shè)有投影裝置，所述投影裝置照射在所述互動(dòng)平面上；設(shè)有紅外筆，所述紅外筆由使用者操控并照射在所述互動(dòng)平面上。

一種基于3D傳感器定位技術(shù)的人機(jī)互動(dòng)方法，包括下列步驟：

(1) 對(duì)3D傳感器進(jìn)行幾何校準(zhǔn)；

(2) 創(chuàng)建互動(dòng)區(qū)域：

將一墻面確定為互動(dòng)平面，設(shè)置投影裝置，使投影圖像投射到所述互動(dòng)平面上，形成互動(dòng)桌面，設(shè)置3D傳感器，使紅外線攝像頭和彩色攝像頭覆蓋整個(gè)互動(dòng)桌面，所述紅外線攝像頭和彩色攝像頭具有對(duì)應(yīng)的坐標(biāo)系；進(jìn)行投影裝置和3D傳感器的幾何映射關(guān)系校準(zhǔn)，獲得圖像的映射變換矩陣；

(3) 使用者用紅外筆照射互動(dòng)平面，構(gòu)成對(duì)互動(dòng)平面的觸摸事件，采用紅外線攝像頭獲取互動(dòng)平面上的紅外圖像，同時(shí)采用彩色攝像頭獲取實(shí)際互動(dòng)畫面，利用步驟(2)獲得的映射變換矩陣，獲得互動(dòng)操作的紅外筆的坐標(biāo)位置，并獲取使用者的手勢(shì)；

(4) 根據(jù)步驟(3)獲得的紅外筆的觸摸操作和/或使用者的手勢(shì)，對(duì)投影內(nèi)容進(jìn)行控制；

(5) 重復(fù)步驟(3)、(4)，實(shí)現(xiàn)人機(jī)互動(dòng)。

上述技術(shù)方案中，步驟(2)中，圖像的映射變換矩陣的獲取方法是：

(a) 構(gòu)建攝像頭成像模型：

在攝像頭坐標(biāo)系中，Q(X_c, Y_c, Z_c)為互動(dòng)面反射點(diǎn)，Q(X_c, Y_c, Z_c)在成像平面上形成一個(gè)二維坐標(biāo)點(diǎn)q(X_u, Y_u)，f為攝像頭焦距，則，；

(b) 構(gòu)建投影裝置成像模型：

在投影裝置坐標(biāo)系中，(X_p, Y_p, Z_p)為投影點(diǎn)的三維坐標(biāo)，(X_g, Y_g)為其在投影平面上的二維投影坐標(biāo)，為投影裝置焦距；

(c) 利用空間坐標(biāo)系平移旋轉(zhuǎn)得到坐標(biāo)變換表達(dá)式，通過(guò)仿射變換，在確定三個(gè)特征點(diǎn)的基礎(chǔ)上，得到圖像的映射變換矩陣。

由于上述技術(shù)方案運(yùn)用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點(diǎn)：

1、本發(fā)明提供了一種基于3D傳感器定位技術(shù)的人機(jī)互動(dòng)系統(tǒng)，可將任何墻面變成觸控屏，達(dá)到人機(jī)自然實(shí)時(shí)互動(dòng)效果。

2、本發(fā)明利用投影技術(shù)、紅外傳感、運(yùn)動(dòng)捕捉、幾何校準(zhǔn)、圖像處理、互動(dòng)區(qū)域創(chuàng)建等多種混合技術(shù)，不需要使用例如拼接屏幕等設(shè)備，使用普通墻面即可達(dá)到精準(zhǔn)的人機(jī)互動(dòng)，拓展了人機(jī)互動(dòng)技術(shù)的應(yīng)用領(lǐng)域。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一的系統(tǒng)框架示意圖；

圖2是實(shí)施例的系統(tǒng)原理圖；

圖3是實(shí)施例中幾何映射關(guān)系圖；

圖4是攝像頭拍攝空間圖像成像模型；

圖5是實(shí)施例中基于3D傳感器的定位互動(dòng)效果示意圖。

具體實(shí)施方式

下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述：

實(shí)施例一：參見(jiàn)圖1所示，一種基于3D傳感器定位技術(shù)的人機(jī)互動(dòng)系統(tǒng)，主要由硬件部分和軟件部分組成。

硬件部分由三部分組成，分別是控制主機(jī)、3D傳感器和互動(dòng)平面。控制主機(jī)用于操作軟件部分的控制軟件以及顯示部分。3D傳感器為系統(tǒng)的主要傳感器，可以用來(lái)捕捉信號(hào)，例如手勢(shì)，人的動(dòng)作，紅外線信號(hào)等?；?dòng)平面一般選用普通墻面即可，作為互動(dòng)設(shè)備的顯示平面。

軟件部分由兩部分組成，分別是控制軟件和顯示軟件。控制軟件從3D傳感器處采集到數(shù)據(jù)然后進(jìn)行濾波，同時(shí)還包括數(shù)據(jù)通信的部分?？刂栖浖梢詫?duì)互動(dòng)信號(hào)進(jìn)行有效處理并與系統(tǒng)互動(dòng)。顯示軟件用來(lái)控制顯示部分，使畫面能夠出現(xiàn)在互動(dòng)平面上，供使用者進(jìn)行互動(dòng)操作。

該互動(dòng)系統(tǒng)功能示意圖如圖2所示。

紅外筆在互動(dòng)平面上操作，會(huì)在互動(dòng)平面上形成紅外的光斑。然后kinect的深度攝像頭會(huì)對(duì)互動(dòng)平面進(jìn)行掃描，并把掃描到的信號(hào)傳輸?shù)诫娔X中。電腦會(huì)先對(duì)收到的數(shù)據(jù)進(jìn)行濾波處理，然后將處理好的數(shù)據(jù)傳輸?shù)娇刂栖浖??？刂栖浖?huì)控制互動(dòng)平面上的互動(dòng)操作，從而實(shí)現(xiàn)人機(jī)交互的功能。

本實(shí)施例中，3D傳感器采用Kinect3D體感攝影機(jī)(開發(fā)代號(hào)“Project Natal”)，Kinect有三個(gè)鏡頭，左右兩邊的鏡頭分別為紅外線發(fā)射器和紅外線感應(yīng)器，配對(duì)使用可以進(jìn)行定位控制，用來(lái)采集深度數(shù)據(jù)（即物體到攝像頭的距離）。中間的鏡頭是RGB彩色攝影頭，可以用來(lái)采集定位圖像進(jìn)而定位圖像位置。彩色攝像頭最大支持1280×960分辨率成像，紅外攝像頭最大支持640×480成像。Kinect還可以聚焦，底座電動(dòng)馬達(dá)可以調(diào)節(jié)轉(zhuǎn)動(dòng)，捕捉物體和圖像。

本實(shí)施例實(shí)現(xiàn)人機(jī)互動(dòng)的方法包括以下步驟：

1、3D傳感器的幾何校準(zhǔn)

本發(fā)明以3D傳感器所拍攝的圖像作為媒介，分別編輯算法計(jì)算顯示圖像、投影圖像與之的對(duì)應(yīng)關(guān)系，最終實(shí)現(xiàn)原始圖像與投影圖像的對(duì)應(yīng)校準(zhǔn)。由于3D傳感器自身的原因，拍攝出的圖像與原圖像相比會(huì)有一定程度的變形，此時(shí)就需要先對(duì)圖像進(jìn)行修正，即求出3D傳感器圖像本身的變化矩陣。首先，先測(cè)出方格紙的尺寸，并以某一角建立坐標(biāo)系，將各個(gè)格點(diǎn)數(shù)據(jù)化，得到一個(gè)二維平面坐標(biāo)矩陣。其次，用3D傳感器在四個(gè)不同角度對(duì)方格紙進(jìn)行拍攝，在攝像圖片中以對(duì)應(yīng)角為原點(diǎn)建立坐標(biāo)系，得到各個(gè)格點(diǎn)對(duì)應(yīng)的坐標(biāo)，建立對(duì)應(yīng)的二維平面坐標(biāo)矩陣。最后，利用軟件算出兩個(gè)坐標(biāo)矩陣間的轉(zhuǎn)化矩陣，所得即3D傳感器圖像本身的變化矩陣，進(jìn)而對(duì)拍攝圖像的特征坐標(biāo)矩陣要進(jìn)行相機(jī)變化矩陣的逆變化，以得到真正的拍攝圖像。

2、創(chuàng)建互動(dòng)區(qū)域

(1) 互動(dòng)區(qū)域：首先將投影儀、Kinect放置在距離互動(dòng)墻面適當(dāng)?shù)奈恢?，然后將投影儀、Kinect與電腦連接好。利用電腦與投影儀，將需要進(jìn)行互動(dòng)操作的電腦桌面投射到實(shí)驗(yàn)室的白色墻面上，然后將Kinect打開，使Kinect的RGB攝像頭覆蓋到整個(gè)互動(dòng)桌面。

(2) 互動(dòng)平面圖像位置識(shí)別：

在完成上述互動(dòng)區(qū)域的硬件搭建后，互動(dòng)面的圖像位置識(shí)別或者說(shuō)是投影圖像與Kinect攝像頭采集圖像的映射關(guān)系的確定是最為重要的一個(gè)環(huán)節(jié)。在進(jìn)行互動(dòng)時(shí)，計(jì)算機(jī)還要知道互動(dòng)面上所有圖像的準(zhǔn)確位置和激光筆的準(zhǔn)確位置，才能夠判斷用戶的具體操作目的。首先對(duì)于投影圖像的位置是確定，需要完成投影儀、Kinect攝像頭系統(tǒng)的幾何映射關(guān)系，如圖3所示。

通過(guò)電腦給投影儀投射互動(dòng)面，幾何映射關(guān)系如圖3，假設(shè)投影圖像有一點(diǎn)M(x, y),這點(diǎn)在投到互動(dòng)面上時(shí)位于位置P處，Kinect的RGB攝像頭會(huì)接收到互動(dòng)面反射的P點(diǎn)，從而在成像面上得到I(r, c)點(diǎn)。計(jì)算機(jī)需要知道每一個(gè)成像的像素點(diǎn)對(duì)應(yīng)于實(shí)際投影圖像中是哪一點(diǎn)，即需要進(jìn)行圖像的映射變換求出變換矩陣。

(3) 搭建Kinect攝像頭成像模型和投影儀投射模型：

如圖4所示是攝像頭拍攝空間圖像成像模型，假設(shè)攝像頭坐標(biāo)系為世界坐標(biāo)系，Q(X_c, Y_c, Z_c)為互動(dòng)面反射點(diǎn)也是投影點(diǎn)。在成像平面上形成一個(gè)二維坐標(biāo)點(diǎn)q(X_u, Y_u)，f為攝像頭焦距，如圖所示，利用相似原理，可以得到如下關(guān)系表達(dá)式：

同理，投影儀的成像原理與相機(jī)相似，同樣可以得到如下的關(guān)系表達(dá)式：

其中，(Xp, Yp, Zp)為投影儀坐標(biāo)系為投影點(diǎn)的三維位置坐標(biāo)，（，）為二維投影點(diǎn)的坐標(biāo)。

要得到投影儀——攝像頭系統(tǒng)中空間點(diǎn)的坐標(biāo)表達(dá)式，需要將攝像機(jī)與投影儀坐標(biāo)系變換一致。它們之間可以利用空間坐標(biāo)系平移、旋轉(zhuǎn)得到。坐標(biāo)變換表達(dá)式如下所示：

聯(lián)立上述方程（1），（2），（3），（4），（5）解得：

Kinect相機(jī)焦距f、投影儀焦距為已知，對(duì)于投影儀與Kinect的坐標(biāo)變換矩陣，可通過(guò)標(biāo)定試驗(yàn)給出，所以要求上述方程得到投影空間點(diǎn)的坐標(biāo)即投影互動(dòng)面上圖像位置，只需要求出相機(jī)成像點(diǎn)坐標(biāo)(,)和二維投影點(diǎn)的坐標(biāo)(，)的關(guān)系，便能夠得到空間點(diǎn)坐標(biāo)。

(4) 仿射變換：仿射變換在數(shù)學(xué)上指的是兩向量之間的映射變換關(guān)系。它實(shí)際由兩部分組成，一是非奇異變換，另一個(gè)是平移。即一個(gè)任意的仿射變換都能表示為乘以一個(gè)矩陣 (線性變換) 接著再加上一個(gè)向量 (平移)。

事實(shí)上仿射變換代表的是兩幅圖像之間的關(guān)系。仿射變換可以用2×3的矩陣來(lái)表示。

，A矩陣表示圖像映射線性變換的部分，B=[] ，B矩陣則代表平移的部分。兩幅圖像的變換關(guān)系可以看成點(diǎn)向量的關(guān)系，M、I為投影點(diǎn)和成像點(diǎn)，兩點(diǎn)向量的仿射變換表達(dá)式如下：

(9)

(10)

本發(fā)明只需要在投影圖像和成像圖像上找出三個(gè)特征點(diǎn)，即可解出上述矩陣A和B,從而得到仿射變換矩陣，進(jìn)而就可以得到投影圖像和成像圖像上所有坐標(biāo)點(diǎn)的對(duì)應(yīng)關(guān)系。

本發(fā)明利用Opencv來(lái)實(shí)現(xiàn)具體的仿射矩陣的求解，下面是關(guān)鍵部分程序?qū)崿F(xiàn)及其說(shuō)明。

//定義兩個(gè)二維數(shù)組，存儲(chǔ)兩幅圖像上選取的三個(gè)特征坐標(biāo)點(diǎn)

srcTri[0] = Point2f( 0,0 );//源畫面中心點(diǎn)為坐標(biāo)原點(diǎn)

srcTri[1] = Point2f( src.cols-1, 0 );//源圖像原點(diǎn)左一單位點(diǎn)坐標(biāo)

srcTri[2] = Point2f( 0, src.rows-1 );//源圖像原點(diǎn)下一單位點(diǎn)坐標(biāo)

dstTri[0] = Point2f( 0,0 );//目標(biāo)畫面中心點(diǎn)為坐標(biāo)原點(diǎn)

dstTri[1] = Point2f( dst.cols-1,0 ); //目標(biāo)圖像原點(diǎn)左一單位點(diǎn)坐標(biāo)

dstTri[2] = Point2f(0, dst.rows-1); //目標(biāo)像原點(diǎn)下一單位點(diǎn)坐標(biāo)

// 利用函數(shù)getAffineTransform求得2×3仿射變換矩陣，賦值給warp_mat

warp_mat = getAffineTransform( srcTri, dstTri );

程序中加載的源圖像為投影條紋圖像，源圖像上選取的三個(gè)點(diǎn)的坐標(biāo)；目標(biāo)圖像為Kinect攝像頭采集到的條紋圖像，它儲(chǔ)存在計(jì)算機(jī)中，選取相對(duì)應(yīng)位置的三個(gè)點(diǎn)的坐標(biāo)。程序根據(jù)調(diào)用這兩張圖像上的三組特征點(diǎn)來(lái)求解出仿射變換矩陣。在得到了仿射變換矩陣后，就可以利用公式（6）、（7）、（8）求得空間點(diǎn)即互動(dòng)面上點(diǎn)的坐標(biāo)，這樣計(jì)算機(jī)就能夠確定互動(dòng)面圖像的位置，從而也就是實(shí)現(xiàn)了互動(dòng)區(qū)域的創(chuàng)建工作。

3、確定觸摸事件

利用Kinect的紅外接收攝像頭與紅外激光筆的配合來(lái)確定觸摸事件和觸摸方式。利用激光筆在互動(dòng)墻面上進(jìn)行點(diǎn)擊時(shí)，把筆尖按到墻面，筆將發(fā)射出紅外激光，打到墻上，墻面則將反射紅外激光，反射的紅外激光將被Kinect紅外接收器接收到。Kinect包含有一對(duì)紅外線發(fā)射器和紅外線VGA攝像頭組，利用Kinect這對(duì)紅外接發(fā)射組，紅外接收器可以通過(guò)接收紅外發(fā)射器發(fā)出的紅外線的反射光來(lái)進(jìn)行深度圖像分析以及定位。本發(fā)明沒(méi)有用到Kinect紅外線發(fā)射器，只用其接收器和互動(dòng)參與者手中的紅外激光筆進(jìn)行配合。同時(shí)利用Kinect輔助開發(fā)工具Kinect for Windows developer Toolkit中的Depth-D3D功能，可以得到Kinect紅外攝像頭獲取的紅外圖像，先拍攝出實(shí)際的互動(dòng)畫面，再利用Kinect輔助工具獲取紅外圖像，進(jìn)而獲取互動(dòng)操作的筆的位置，即坐標(biāo)的位置。

根據(jù)紅外圖像，指定互動(dòng)面左下角為坐標(biāo)原點(diǎn)，計(jì)算機(jī)就能容易的找到互動(dòng)者的觸摸位置，在觸摸位置坐標(biāo)已知，互動(dòng)面上各個(gè)圖標(biāo)位置已知的情況下，計(jì)算機(jī)就能準(zhǔn)確判斷出互動(dòng)過(guò)程中，互動(dòng)人員的觸摸過(guò)程。Kinect在得到紅外圖像時(shí)，深度數(shù)據(jù)是第一次得到，每一幀的深度數(shù)據(jù)將根據(jù)預(yù)先得到的互動(dòng)表面進(jìn)行相互比較，以此確認(rèn)是否存在“觸摸”事件。通過(guò)將原始的、從深度數(shù)據(jù)中得來(lái)的、被認(rèn)為是觸摸事件的深度數(shù)據(jù)放入一個(gè)自定義的濾波功能塊中，以此來(lái)去除外界噪聲干擾的影響。基于軟件平臺(tái)的跟蹤定位的效果圖如圖5所示。手置于人機(jī)互動(dòng)區(qū)域，系統(tǒng)會(huì)自動(dòng)對(duì)手勢(shì)進(jìn)行跟蹤定位。圖5中，軌跡線代表正在識(shí)別的手的輪廓，四邊形代表系統(tǒng)將手定位在這個(gè)范圍內(nèi)，圓圈是對(duì)手指尖的定位，從而能達(dá)到精準(zhǔn)人機(jī)互動(dòng)的目的。