一種基于徒手和單目攝像頭實現人機交互的方法和裝置制造方法
【專利摘要】本發明公開了一種基于徒手和單目攝像頭實現人機交互的方法和裝置，以較為簡單的硬件設備，在各種應用場景中實現操作指令的輸出。所述方法包括：采集用戶的單手徒手圖像；檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化⊿S和/或所述位置的變化⊿P；根據所述尺寸的變化⊿S和/或所述位置的變化⊿P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。本發明實施例提供的方法需要的設備簡單，成本低廉，穩定性好，單手徒手即可實現對鼠標的基本操作以及對觸摸屏的基本操作，因此執行效率也較高。
【專利說明】一種基于徒手和單目攝像頭實現人機交互的方法和裝置
【技術領域】
[0001]本發明涉及人工智能領域，具體涉及一種基于徒手和單目攝像頭實現人機交互的方法和裝置。
【背景技術】
[0002]目前在世界范圍內人機交互技術主要集中在通過傳統的硬件設備、語音識別和視覺交互技術。傳統的硬件設備，例如觸摸屏、鼠標和鍵盤等；語音識別技術，即通過對人發出的語音進行識別，形成操作指令，例如Apple公司的Siri和訊飛公司的語點等；視覺交互技術主要研究通過計算機視覺和人工智能技術，實現人機交互。
[0003]在視覺交互技術中，微軟公司的Kinect技術通過多目攝像頭和深度傳感器，通過一種光編碼(light coding)技術實現識別人體，將人的肢體運動翻譯為計算機指令。三星公司推出的SmartTV系列電視機，通過使用語音和手勢相結合的方法對電視進行操作。另外，現有的視覺交互技術主要集中在手勢識別方法和系統上。
[0004]現有的人機交互技術中，除了常規的交互方式外，還可以通過語音對計算機發送指令，也可以通過傳感器感知人的動作。通過語音交互的方式，容易受到噪音、口音以及距離遠近的影響，并且語音的交互沒有方向性，只能實現簡單的指令、選擇。通過傳感器感知人的動作這一交互方式中，典型的方式是通過數據手套或者攜帶各種傳感器(例如加速度、紅外、磁場傳感器)，通過捕獲手的動作，然后翻譯成計算機指令，然而，這種通過傳感器獲取的手勢，成本很高，不能徒手操作，應用場景相對收到限制。

【發明內容】

[0005]本發明實施例提供一種基于徒手和單目攝像頭實現人機交互的方法和裝置，以較為簡單的硬件設備，在各種應用場景中實現操作指令的輸出。
[0006]一種基于徒手和單目攝像頭實現人機交互的方法，所述方法包括:
[0007]采集用戶的單手徒手圖像；
[0008]檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P ；
[0009]根據所述尺寸的變化」S和/或所述位置的變化」P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
[0010]一種基于徒手和單目攝像頭實現人機交互的裝置，所述裝置包括:
[0011]圖像采集模塊，用于采集用戶的單手徒手圖像；
[0012]圖像處理模塊，用于檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P ；
[0013]手勢識別模塊，用于根據所述尺寸的變化」S和/或所述位置的變化」P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
[0014]從上述本發明實施例可知，采集用戶的單手徒手圖像可以使用常用的圖像采集設備例如單目攝像頭實現，并且，用戶是徒手在圖像采集設備面前動作，當檢測到徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P后，可以根據所述尺寸的變化」S和/或所述位置的變化」P，生成相應的操作指令輸出至終端。與現有技術提供的人機交互技術需要用戶額外增加成本較高的設備例如數據手套相比，本發明實施例提供的方法需要的設備簡單，成本低廉，穩定性好，單手徒手即可實現對鼠標的基本操作以及對觸摸屏的基本操作，因此執行效率也較高。
【專利附圖】

【附圖說明】
[0015]圖1是本發明實施例提供的基于徒手和單目攝像頭實現人機交互的方法的基本流程示意圖；
[0016]圖2是本發明實施例提供的基于徒手和單目攝像頭實現人機交互的裝置邏輯結構示意圖；
[0017]圖3是本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置邏輯結構示意圖；
[0018]圖4是本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置邏輯結構示意圖；
[0019]圖5是本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置邏輯結構示意圖；
[0020]圖6是本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置邏輯結構示意圖。
【具體實施方式】
[0021]本發明實施例提供一種基于徒手和單目攝像頭實現人機交互的方法，包括:采集用戶的單手徒手圖像；檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P ;根據所述尺寸的變化」S和/或所述位置的變化」P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。本發明實施例還提供相應的基于徒手和單目攝像頭實現人機交互的裝置。以下分別進行詳細說明。
[0022]本發明實施例的基于徒手和單目攝像頭實現人機交互的方法的基本流程可參考圖1，主要包括步驟:
[0023]S101，采集用戶的單手徒手圖像。
[0024]在本發明實施例中，所謂單手，指的是用戶的左手或右手，所謂徒手，也就是裸手，是指沒有安裝或穿戴任何設備的手，即在實現本發明的技術方案過程中，用戶的左手或右手自始至終沒有安裝或穿戴任何設備進行操作；用戶的單手徒手圖像是指目標物主要是用戶的左手徒手或右手徒手構成的圖像。采集用戶的單手徒手圖像可以通過外接普通的家用攝像頭，也可以直接使用終端上提供的攝像頭實現，攝像頭的類型可以是單目攝像頭，本發明可以對攝像頭的類型不加限制。
[0025]S102，檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P。
[0026]在實現本發明方法的過程中，用戶的單手會相對于圖像采集設備(例如單目攝像頭)前后移動和/或在同一平面內上下左右移動，這種移動會引起徒手圖像中手的尺寸和/或位置的變化?？梢圆捎脠D像處理硬件設備或軟件模塊檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化。為了描述方便，本發明實施例中將徒手圖像中單手的尺寸使用S表示，單手的位置使用P表示，鼠標指針在屏幕的位置使用T表示，當前一幀徒手圖像中P相對于前一幀徒手圖像中P的變化使用Z P表示，當前一幀徒手圖像中S相對于前一幀徒手圖像中S的變化使用」S表示。
[0027]S103，根據徒手圖像中單手尺寸的變化」S和/或位置的變化」P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
[0028]在本發明一個實施例中，終端執行與所生成操作指令相應的操作包括執行對鼠標指針的移動。如前所述，當用戶單手徒手在單目攝像頭在同一平面上下左右移動時，單手的尺寸S會發生變化。與此相應，作為本發明一個實施例，根據徒手圖像中單手尺寸的變化」S和/或位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括以下步驟SOl和步驟S02:
[0029]S01，若徒手圖像中單手的尺寸的變化」S小于第一閾值Mls且徒手圖像中單手的位置在同一平面內存在變化Z P，則通過幾何映射方法將經過變化后的位置映射為鼠標指針在屏幕中的位置T ;
[0030]S02，根據所述映射結果，向終端輸出第一操作指令以使所述終端根據所述第一操作指令移動所述鼠標指針。作為本發明一個實施例，幾何映射方法如下:假設單手的位置P={x,y},圖像的長為W1,寬為Ii1,屏幕的長為w2,寬為h2,圖形設備(例如，鼠標指針)在屏幕上的位置為 t={m, η},則 Iii=XXw2Zw1, ryXhhp [0031]需要說明的是，本發明所述的終端可以是傳統的個人電腦(Personal Computer,PC)、手機和平板電腦等等，這些終端的輸入設備既可以是傳統的鍵盤、鼠標等，也可以是觸屏。
[0032]在本發明另一實施例中，終端執行與所生成操作指令相應的操作包括執行對鼠標的點擊，例如，單擊或雙擊。用戶通過單手的移動控制鼠標移動，將鼠標指針或者觸摸位置標志移動到想要點擊的位置，用戶的單手面對圖像采集設備(例如，單目攝像頭)，向前快速移動做出向前推動的動作，然后再遠離攝像頭方向移動做出后退的動作，即可使終端執行對鼠標的單擊。用戶通過單手的移動控制鼠標移動，將鼠標指針或者觸摸位置標志移動到想要點擊的位置，先將單手面對圖像采集設備(例如，單目攝像頭)向前快速移動以做出向前推動的動作，然后再遠離圖像采集設備方向移動以做出后退的動作，此后在極短的時間內重復前述動作，即先將單手面對圖像采集設備向前快速移動做出向前推動的動作，然后再遠離圖像采集設備方向移動做出后退的動作，即可使終端執行對鼠標的雙擊。上述用戶的單手的動作被轉化為操作指令，即相應于終端執行與所生成操作指令相應的操作包括執行對鼠標的點擊的實施例，作為本發明另一實施例，根據徒手圖像中單手的尺寸的變化 S和/或單手的位置的變化Z P，生成相應的操作指令輸出至終端，以使終端執行與所述操作指令相應的操作包括S21和S22:
[0033]S21， 根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上需要點擊的位置；鼠標指針移動至屏幕上需要點擊的位置后可以予以保持。[0034]鼠標指針移動的實現過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上需要點擊的位置的實現過程可參考前述說明，此處不再贅述。
[0035]S22，若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間」t3內所述」S僅發生一次變化過程CP，則向所述終端輸出第二操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的單擊，若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Z t4內所述Z S連續兩次發生所述變化過程CP，則向所述終端輸出第三操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的雙擊。
[0036]上述實施例中，時間Z t4應該是足夠短，其大小應該與傳統人機交互方法中雙擊物理鼠標時前后兩次單擊的間隔時間相當。特別需要說明的是，上述實施例中，變化過程Cp為手的尺寸S先變大即所述」S先大于O并且在時間」內累計所得」S (即Σ」S)大于第二閾值B2s，然后手的尺寸S變小即所述」S小于O并且在時間」t2內累計所得」S的絕對值(即Σ I」Si)大于第三閾值B3s。
[0037]在本發明又一實施例中，終端執行與所生成操作指令相應的操作包括對對象的拖拽。用戶通過單手的移動控制鼠標指針移動，將鼠標指針移動到需要拖拽的對象(例如圖標或者文件)上，然后將單手面對圖像采集設備前推，此時終端執行摁下鼠標左鍵點住需要拖拽的對象，然后再移動單手的位置來控制鼠標拖拽，拖拽到想要的位置，再將單手遠離圖像采集設備的方向后退，則終端執行釋放鼠標左鍵，拖拽動作完成。上述用戶的單手的動作被轉化為操作指令，即相應于終端執行與所生成操作指令相應的操作包括對對象的拖拽的實施例，作為本發明另一實施例，根據徒手圖像中單手的尺寸的變化和/或單手的位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括如下S31至S35:
[0038]S31，根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上需要拖拽的對象；鼠標指針移動至屏幕上需要拖拽的對象后可以予以保持。
[0039]S32，在所述鼠標指針移動至屏幕上需要拖拽的對象后，若檢測到所述」S大于O并且在時間Z h內累計所得Z S大于第二閾值B2s時，記錄對需要拖拽的對象的選定。
[0040]S33，根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為所述鼠標指針移動至目標位置。
[0041]上述S31和S33中鼠標指針移動的實現過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上需要拖拽的對象或者目標位置的實現過程可參考前述說明，此處不再贅述。
[0042]S34，在所述目標位置檢測到所述Z S小于O并且在時間」t2內累計所得」S的絕對值大于第三閾值B3s時，記錄對需要拖拽的對象的釋放。
[0043]S35，向所述終端輸出第四操作指令以使所述終端根據所述第四操作指令執行對所述對象的拖拽。
[0044]在本發明又一實施例中，終端執行與所生成操作指令相應的操作包括執行對鼠標左鍵或右鍵的長摁。用戶通過單手的移動控制鼠標指針移動，將鼠標指針移動到需要選定的對象(例如圖標或者文件)上，然后將單手面對圖像采集設備前推，此時終端執行摁下鼠標左鍵或右鍵并保持一定時間，則終端執行對鼠標左鍵或右鍵的長摁。上述用戶的單手的動作被轉化為操作指令，即相應于終端執行與所述操作指令相應的操作包括執行對鼠標左鍵或右鍵的長摁的實施例，作為本發明另一實施例，根據手的尺寸的變化和/或手的位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括如下S41至S44:
[0045]S41，根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上的目標位置；鼠標指針移動至屏幕上的目標位置后可以予以保持。
[0046]上述S41中鼠標指針移動的實現過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上需要拖拽的對象或者目標位置的實現過程可參考前述說明，此處不再贅述。需要說明的是，屏幕上的目標位置可以是屏幕上的一塊空白區域，也可以是屏幕上某個目標對象所在位置。
[0047]S42，在檢測到所述Z S大于O并且在時間」&內累計所得」S大于第二閾值B2s時，記錄對所述目標位置的選定。
[0048]S43，保持對所述目標位置的選定至一段時間。
[0049]S44，向所述終端輸出第五操作指令以使所述終端根據所述第五操作指令執行對所述鼠標左鍵或右鍵的長摁。
[0050]從上述本發明實施例提供的基于徒手和單目攝像頭實現人機交互的方法可知，采集用戶的徒手圖像可以使用常用的圖像采集設備例如單目攝像頭實現，并且，用戶是徒手在圖像采集設備面前動作，當檢測到徒手圖像中手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P后，可以根據所述尺寸的變化」S和/或所述位置的變化- P，生成相應的操作指令輸出至終端。與現有技術提供的人機交互技術需要用戶額外增加成本較高的設備例如數據手套相比，本發明實施例提供的方法需要的設備簡單，成本低廉，穩定性好，單手徒手即可實現對鼠標的基本操作以及對觸摸屏的基本操作，因此執行效率也較聞。
[0051]下面對用于執行上述基于徒手和單目攝像頭實現人機交互的方法的本發明實施例的基于基于徒手和單目攝像頭實現人機交互的裝置進行說明，其基本邏輯結構參考圖2，主要包括圖像采集模塊201、圖像處理模塊202和手勢識別模塊203，各模塊詳細說明如下:
[0052]圖像采集模塊201，用于采集用戶的單手徒手圖像；
·[0053]圖像處理模塊202，用于檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P ；
[0054]手勢識別模塊203，用于根據所述尺寸的變化」S和/或所述位置的變化」P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
[0055]需要說明的是，以上附圖2示例的基于徒手和單目攝像頭實現人機交互的裝置的實施方式中，各功能模塊的劃分僅是舉例說明，實際應用中可以根據需要，例如相應硬件的配置要求或者軟件的實現的便利考慮，而將上述功能分配由不同的功能模塊完成，即將所述基于徒手和單目攝像頭實現人機交互的裝置的內部結構劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。而且，實際應用中，本實施例中的相應的功能模塊可以是由相應的硬件實現，也可以由相應的硬件執行相應的軟件完成，例如，前述的圖像采集模塊，可以是具有執行前述采集用戶的單手徒手圖像的硬件，例如圖像采集器，也可以是能夠執x行相應計算機程序從而完成前述功能的一般處理器或者其他硬件設備；再如前述的圖像處理模塊，可以是具有執行前述檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化」S和/或所述位置的變化」P功能的硬件，例如圖像處理器，也可以是能夠執行相應計算機程序從而完成前述功能的一般處理器或者其他硬件設備(本說明書提供的各個實施例都可應用上述描述原則)。
[0056]附圖2示例的基于徒手和單目攝像頭實現人機交互的裝置中，終端執行與所述操作指令相應的操作包括執行對鼠標指針的移動，手勢識別模塊203可以包括映射單元301和第一輸出單元302，如附圖3所示本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置，其中:
[0057]映射單元301，用于若所述尺寸的變化Z S小于第一閾值Mls且所述位置在同一平面內存在所述變化- P，則通過幾何映射方法將所述經過變化后的位置映射為鼠標指針在屏幕中的位置T ;
[0058]第一輸出單元302，用于根據所述映射結果，向所述終端輸出第一操作指令以使所述終端根據所述第一操作指令移動所述鼠標指針。
[0059]附圖2示例的基于徒手和單目攝像頭實現人機交互的裝置中，終端執行與所述操作指令相應的操作包括執行對鼠標的點擊，例如單擊或雙擊等，手勢識別模塊203可以包括第一移動單元401和第二輸出單元402，如附圖4所示本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置，其中:
[0060] 第一獲取單元401，用于根據徒手圖像中單手尺寸的變化」S和位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上需要點擊的位置；鼠標指針移動至屏幕上需要點擊的位置后可以予以保持；
[0061]第二輸出單元402，用于若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Z t3內所述Z S僅發生一次變化過程CP，則向所述終端輸出第二操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的單擊，若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Z t4內所述Z S連續兩次發生所述變化過程Cp，則向所述終端輸出第三操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的雙擊。
[0062]附圖4示例的基于徒手和單目攝像頭實現人機交互的裝置中，鼠標指針移動的實現具體可以通過附圖3示例的映射單元301和第一輸出單元302來實現，所述時間」t4應該是足夠短，其大小應該與傳統人機交互方法中雙擊物理鼠標時前后兩次單擊的間隔時間相當，而變化過程Cp為所述」S先大于O并且在時間」內累計所得」S大于第二閾值B2s，然后所述」S小于O并且在時間」t2內累計所得」S的絕對值大于第三閾值B3s。
[0063]附圖2示例的基于徒手和單目攝像頭實現人機交互的裝置中，終端執行與所述操作指令相應的操作包括對對象的拖拽，手勢識別模塊203可以包括第二獲取單元505、第一記錄單元501、第三獲取單元502、第二記錄單元503和第三輸出單元504，如附圖5所示本發明另一實 施例提供的基于徒手和單目攝像頭實現人機交互的裝置，其中:
[0064]第二獲取單元505，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為 所述鼠標指針移動至屏幕上需要拖拽的對象；鼠標指針移動至屏幕上需要拖拽的對象后可以予以保持；[0065]第一記錄單元501，用于在所述鼠標指針移動至屏幕上需要拖拽的對象后，若檢測到所述」S大于O并且在時間」內累計所得」S大于第二閾值B2s時，記錄對所述對象的選定；
[0066]第三獲取單元502，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為所述鼠標指針移動至目標位置；
[0067]第二記錄單元503，用于在所述目標位置檢測到所述」S小于O并且在時間」t2內累計所得 S的絕對值大于第三閾值B3s時，記錄對所述對象的釋放；
[0068]第三輸出單元504，用于向所述終端輸出第四操作指令以使所述終端根據所述第四操作指令執行對所述對象的拖拽。
[0069]同樣地，附圖5示例的基于徒手和單目攝像頭實現人機交互的裝置中，鼠標指針移動的實現具體可以通過附圖3示例的映射單元301和第一輸出單元302來實現。
[0070]附圖2示例的基于徒手和單目攝像頭實現人機交互的裝置中，終端執行與所述操作指令相應的操作包括對鼠標左鍵或右鍵的長摁，手勢識別模塊203可以包括第四獲取單元603、第三記錄單元604、保持單元601和第四輸出單元602，如附圖6所示本發明另一實施例提供的基于徒手和單目攝像頭實現人機交互的裝置，其中:
[0071]第四獲取單元603，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上 的目標位置；鼠標指針移動至屏幕上的目標位置后可以予以保持；
[0072]第三記錄單元604，用于在所述鼠標指針移動至屏幕上的目標位置后，若檢測到所述」S大于O并且在時間」&內累計所得」S大于第二閾值B2s時，記錄對所述目標位置的選定；
[0073]保持單元601，用于保持對所述目標位置的選定至一段時間；
[0074]第四輸出單元602，用于向所述終端輸出第五操作指令以使所述終端根據所述第五操作指令執行對所述鼠標左鍵或右鍵的長摁。
[0075]同樣地，附圖6示例的基于徒手和單目攝像頭實現人機交互的裝置中，鼠標指針移動的實現具體可以通過附圖3示例的映射單元301和第一輸出單元302來實現。
[0076]需要說明的是，上述裝置各模塊/單元之間的信息交互、執行過程等內容，由于與本發明方法實施例基于同一構思，其帶來的技術效果與本發明方法實施例相同，具體內容可參見本發明方法實施例中的敘述，此處不再贅述。
[0077]本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，該程序可以存儲于一計算機可讀存儲介質中，存儲介質可以包括:只讀存儲器(ROM，Read Only Memory)、隨機存取存儲器(RAM，RandomAccess Memory)、磁盤或光盤等。
[0078]以上對本發明實施例所提供的一種基于徒手和單目單目攝像頭實現人機交互的方法和裝置進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在【具體實施方式】及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
【權利要求】
1.一種基于徒手和單目攝像頭實現人機交互的方法，其特征在于，所述方法包括:采集用戶的單手徒手圖像；檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化Z S和/或所述位置的變化 P ；根據所述尺寸的變化Z S和/或所述位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
2.根據權利要求1所述的方法，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標指針的移動；所述根據所述尺寸的變化Z S和/或所述位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括:若所述尺寸的變化」S小于第一閾值Mls且所述位置在同一平面內存在所述變化」P，則通過幾何映射方法將所述經過變化后的位置映射為鼠標指針在屏幕中的位置T ；根據所述映射結果，向所述終端輸出第一操作指令以使所述終端根據所述第一操作指令移動所述鼠標指針。
3.根據權利要求1所述的方法，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標的點擊，所述點擊包括單擊或雙擊；所述根據所述尺寸的變化Z S和/或所述位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括:根據所述尺寸的變化Z S和所述位置的變化Z P，獲得檢測的結果為鼠標指針移動至屏幕上需要點擊的位置；若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Z t3內所述Z S僅發生一次變化過程CP，則向所述終端輸出第二操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的單擊，若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間」t4內所述」S連續兩次發生所述變化過程CP，則向所述終端輸出第三操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的雙擊；所述變化過程Cp為所述」S先大于O并且在時間」內累計所得」S大于第二閾值B2s，然后所述」S小于O并且在時間」t2內累計所得」S的絕對值大于第三閾值B3s。
4.根據權利要求1所述的方法，其特征在于，所述終端執行與所述操作指令相應的操作包括對對象的拖拽；所述根據所述尺寸的變化Z S和/或所述位置的變化Z P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括:根據所述尺寸的變化Z S和所述位置的變化Z P，獲得檢測的結果為鼠標指針移動至屏幕上需要拖拽的對象；在所述鼠標指針移動至屏幕上需要拖拽的對象后，若檢測到所述Z S大于O并且在時間」內累計所得」S大于第二閾值B2s時，記錄對所述對象的選定；根據所述尺寸的變化 S和所述位置的變化Z P，獲得檢測的結果為所述鼠標指針移動至目標位置；在所述目標位置檢測到所述Z S小于O并且在時間Z t2內累計所得Z S的絕對值大于第三閾值B3s時，記錄對所述對象的釋放；向所述終端輸出第四操作指令以使所述終端根據所述第四操作指令執行對所述對象的拖拽。
5.根據權利要求1所述的方法，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標左鍵或右鍵的長摁；所述根據所述尺寸的變化Δ S和/或所述位置的變化Δ P，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作包括:根據所述尺寸的變化Δ S和所述位置的變化Δ P，獲得檢測的結果為鼠標指針移動至屏幕上的目標位置；在所述鼠標指針移動至屏幕上的目標位置后，若檢測到所述Δ S大于O并且在時間Δt1內累計所得ΔS大于第二閾值B2s時，記錄對所述目標位置的選定；保持對所述目標位置的選定至一段時間；向所述終端輸出第五操作指令以使所述終端根據所述第五操作指令執行對所述鼠標左鍵或右鍵的長摁。
6.一種基于徒手和單目攝像頭實現人機交互的裝置，其特征在于，所述裝置包括:圖像采集模塊，用于采集用戶的單手徒手圖像；圖像處理模塊，用于檢測所述徒手圖像中單手的尺寸和/或位置以及所述尺寸的變化ΔS和/或所述位置的變化ΔP ；手勢識別模塊，用于根據所述尺寸的變化ΔS和/或所述位置的變化ΔP，生成相應的操作指令輸出至終端，以使所述終端執行與所述操作指令相應的操作。
7.根據權利要求6所述的裝置，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標指針的移動，所述手勢識別模塊包括:映射單元，用于若所述尺寸的變化ΔS小于第一閾值Mls且所述位置在同一平面內存在所述變化Δ P，則通過幾何映射方法將所述經過變化后的位置映射為鼠標指針在屏幕中的位置T ;第一輸出單元，用于根據所述映射結果，向所述終端輸出第一操作指令以使所述終端根據所述第一操作指令移動所述鼠標指針。
8.根據權利要求6所述的裝置，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標的點擊，所述點擊包括單擊或雙擊，所述手勢識別模塊包括:第一獲取單元，用于根據所述尺寸的變化ΔS和所述位置的變化ΔP，獲得檢測的結果為鼠標指針移動至屏幕上需要點擊的位置；第二輸出單元，用于若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Δt3內所述ΔS僅發生一次變化過程CP，則向所述終端輸出第二操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的單擊，若所述檢測的結果為所述鼠標指針移動至屏幕上需要點擊的位置后，在時間Δt4內所述ΔS連續兩次發生所述變化過程CP，則向所述終端輸出第三操作指令以使所述終端根據所述第二操作指令執行對所述鼠標的雙擊;所述變化過程Cp為所述ΔS先大于O并且在時間Δ內累計所得ΔS大于第二閾值B2s，然后所述ΔS小于O并且在時間Δt2內累計所得ΔS的絕對值大于第三閾值B3s。
9.根據權利要求6所述的裝置，其特征在于，所述終端執行與所述操作指令相應的操作包括對對象的拖拽，所述手勢識別模塊包括:第二獲取單元，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕上需要拖拽的對象；第一記錄單元，用于在所述鼠標指針移動至屏幕上需要拖拽的對象后，若檢測到所述」S大于O并且在時間」A內累計所得」S大于第二閾值B2s時，記錄對所述對象的選定；第三獲取單元，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為所述鼠標指針移動至目標位置；第二記錄單元，用于在所述目標位置檢測到所述」S小于O并且在時間」t2內累計所得Z S的絕對值大于第三閾值B3s時，記錄對所述對象的釋放；第三輸出單元，用于向所述終端輸出第四操作指令以使所述終端根據所述第四操作指令執行對所述對象的拖拽。
10.根據權利要求6所述的裝置，其特征在于，所述終端執行與所述操作指令相應的操作包括執行對鼠標左鍵或右鍵的長摁，所述手勢識別模塊包括:第四獲取單元，用于根據所述尺寸的變化」S和所述位置的變化」P，獲得檢測的結果為鼠標指針移動至屏幕 上的目標位置；第三記錄單元，用于在所述鼠標指針移動至屏幕上的目標位置后，若檢測到所述Z S大于O并且在時間」內累計所得」S大于第二閾值B2s時，記錄對所述目標位置的選定；保持單元，用于保持對所述目標位置的選定至一段時間；第四輸出單元，用于向所述終端輸出第五操作指令以使所述終端根據所述第五操作指令執行對所述鼠標左鍵或右鍵的長摁。
【文檔編號】G06F3/01GK103440033SQ201310363211
【公開日】2013年12月11日 申請日期:2013年8月19日 優先權日:2013年8月19日
【發明者】龐建新, 程俊 申請人:中國科學院深圳先進技術研究院