本發明屬于人機交互的技術領域，具體涉及一種基于書寫筆的交互系統及方法。

背景技術：

在現有的人機交互的過程中，由于單一激光面不均勻導致的檢測點位置不準確的問題，多個運動軌跡靠近時候交互錯亂的問題，多個手指或者多個書寫筆被檢測為一個的問題，導致跟蹤結果有錯誤的問題。

技術實現要素：

本發明提供了一種基于書寫筆的交互系統及方法，解決了多個運動軌跡靠近時候相互錯亂的問題，并根據獲取的運動軌跡來實現人機交互的目的。

本發明提供了一種基于書寫筆的交互系統，包括多個書寫筆、屏幕、攝像頭和處理器，其中：

多個書寫筆，為帶特殊標志的書寫筆，用于供給多個使用者同時對屏幕進行操作；

攝像頭設置在屏幕的上方，用于采集屏幕上的信息；

處理器接收來自攝像頭的信息，用于檢測跟蹤是來自哪個書寫筆書寫的信息。

優選的，所述的多個書寫筆為帶數字標號的書寫筆。

由上面的技術方案可知，本發明提供的基于書寫筆的交互系統，實現了多個使用者使用書寫筆同時對屏幕進行操作，由于多個使用者使用的是帶有特殊標志的書寫筆，使得處理器對多個書寫筆的檢測跟蹤變得容易，和原來兩兩書寫筆相比進行檢測減少了運算量。

本發明還提供了一種基于書寫筆的交互方法，包括如下步驟：

S1、對攝像頭進行標定，將所拍攝圖像映射到屏幕對應的位置上；

S2、采用OCR字符識別技術對上面標定好的圖像進行檢測；

S3、將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡，并根據獲取的運動軌跡來判斷是否有書寫筆在屏幕上操作，進而實現人機交互。

優選的，所述的對攝像頭進行標定的步驟具體包括如下步驟：

S11、制作黑白格子圖并全屏顯示在屏幕上；

S12、通過攝像頭獲取到上面制作出的黑白格子圖，并獲取到背景圖；

S13、將黑白格子圖分別灰度化后和背景圖的灰度圖相減，再對獲得的兩個圖進行差異化比較，獲取新的圖像；

S14、對獲取的新的圖像進行二值化并進行輪廓提取，獲取到輪廓的角點信息；

S15、對各個角點的信息進行排序，并分別對應到屏幕中的位置，其結果作為標定的結果。

優選的，所述的對各個角點的信息進行排序的步驟具體包括如下步驟：

S151、設屏幕的左上角為坐標原點，每個像素點的位置坐標為(x，y)，如果該像素點的橫坐標x與縱坐標y之和越小，則該像素點越靠近于屏幕左上角；假設屏幕圖像長度為image_length，如果image_length-x與y之和越小，則該像素點越靠近于屏幕右上角；

S152：通過上述步驟檢測出屏幕第一排最左邊的點和第一排最右邊的點，設兩點坐標分別為(x1，y1)和(x2，y2)，通過θ＝arctan((y2-y1)/(x2-x1))得出這兩點形成的斜率角度；采用上述方法對所有的像素點進行粗略的排序；

S153：獲取上述粗略排序后的坐標排序結果，通過每個點的橫坐標x，縱坐標y，及步驟S83計算出的θ用公式y*cosθ-x*sinθ按從小到大對所有點進行排序，則前rows個點為第一排所擁有的點，并對所述第一排的像素點按照其橫坐標從小到大進行排序，得到第一排的排序對應；

S154：對剩下的(rows*cols-rows)個點逐個進行步驟S81到步驟S84，獲得第二排最左邊的點和第二排最右邊的點，以及第二排的rows個點；同理，依此獲得所有其他排的坐標信息的排序對應；

S155:將上述排序對應的結果中的前rows個點(第一排的總數)按照橫坐標從小到大進行排序，即獲得第一排的正確排序對應，同理依此獲得第2至第cols排的正確排序對應。

優選的，所述的采用OCR字符識別技術對上面標定好的圖像進行檢測的步驟具體包括如下步驟：

S21、獲取背景圖，并對背景圖進行灰度化處理；

S22、獲取當前幀的實時圖像，并對該實時圖像進行灰度處理；

S23、用實時圖像得到的灰度圖減去背景圖得到的灰度圖并取絕對值，獲取一副新的圖像。

S24、對獲取的新的圖像進行二值化處理，獲取二值圖；

S25、對獲取的二值圖進行OCR技術特征提取，并進行特征的匹配，獲取圖像中的字符信息。

優選的，所述的將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡的步驟具體包括如下步驟：

S31、根據獲取到每幀屏幕中書寫筆的位置和所識別的特殊標志，將上一幀的位置和特殊標志的信息保存下來，上一幀的信息存在數組1中，當前幀的信息存在數組2中；

S32、如果上一幀的信息為空，當前幀的信息為空，則說明屏幕中沒有書寫筆書寫；

S33、如果上一幀的信息為空，而當前幀開始有信息，則當前幀存在的每個書寫筆都為新的書寫筆運動的第一幀；

S34、每幀圖像中對上一幀存在的書寫筆在當前幀中進行查找，如果此書寫筆存在，則匹配為此書寫筆的運動軌跡，如果此書寫筆不存在了，則將此書寫筆的運動軌跡標識為結束。

優選的，所述的書寫筆上的特殊標志為數字標號。

由上面的技術方案可知，本發明提供的基于書寫筆的交互方法，是基于帶特殊標志的書寫筆進行的交互，將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡，多個運動軌跡不再相互錯亂，多個書寫筆不再誤檢測為一個，使得檢測的精準性得到提高，并根據獲取的運動軌跡來實現人機交互的目的。

附圖說明

圖1為本發明實施例提供的一種基于帶特殊標志的書寫筆的交互系統的示意圖；

圖2為本發明實施例提供的一種基于帶特殊標志的書寫筆的交互方法的流程圖。

具體實施方式

以下結合具體實施方式進一步詳細說明本發明的技術方案。應當理解，此處描述的具體實施方式僅僅用以解釋本發明，并不用于限定本發明。

本發明提供了一種基于書寫筆的交互系統，包括多個書寫筆、屏幕、攝像頭和處理器，其中：

多個書寫筆，為帶特殊標志的書寫筆，用于供給多個使用者同時對屏幕進行操作；

攝像頭設置在屏幕的上方，用于采集屏幕上的信息；

處理器接收來自攝像頭的信息，用于檢測跟蹤是來自哪個書寫筆書寫的信息。

優選的，所述的多個書寫筆為帶數字標號的書寫筆。

下面以兩個書寫筆為例說明，且這兩個書寫筆是帶有數字標號的，為第一書寫筆和第二書寫筆，如圖1所示，本發明實施例提供了一種基于書寫筆的交互系統，包括第一書寫筆11、第二書寫筆12、屏幕2、攝像頭3和處理器4，其中：

第一書寫筆11和第二書寫筆12，用于供給多個使用者同時對屏幕2進行操作；

攝像頭3設置在屏幕2的上方，用于采集屏幕2上的信息；

處理器4接收來自攝像頭3的信息，用于檢測跟蹤屏幕上的信息是來自第一書寫筆還是第二書寫筆書寫的信息。

由上面的技術方案可知，本發明提供的基于書寫筆的交互系統，實現了多個使用者使用書寫筆同時對屏幕進行操作，由于多個使用者使用的是帶有特殊標志的書寫筆，使得處理器對多個書寫筆的檢測跟蹤變得容易，不在誤檢測為一個書寫筆，和原來兩兩書寫筆相比進行檢測減少了運算量。

本發明實施例還提供了一種基于書寫筆的交互方法，如圖2所示，包括如下步驟：

S1、對攝像頭進行標定，將所拍攝圖像映射到屏幕對應的位置上；

S2、采用OCR字符識別技術對上面標定好的圖像進行檢測；

S3、將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡，并根據獲取的運動軌跡來判斷是否有書寫筆在屏幕上操作，進而實現人機交互。

優選的，所述的對攝像頭進行標定的步驟具體包括如下步驟：

S11、制作黑白格子圖并全屏顯示在屏幕上；

S12、通過攝像頭獲取到上面制作出的黑白格子圖，并獲取到背景圖；

S13、將黑白格子圖分別灰度化后和背景圖的灰度圖相減，再對獲得的兩個圖進行差異化比較，獲取新的圖像；

S14、對獲取的新的圖像進行二值化并進行輪廓提取，獲取到輪廓的角點信息；

S15、對各個角點的信息進行排序，并分別對應到屏幕中的位置，其結果作為標定的結果。

優選的，所述的對各個角點的信息進行排序的步驟具體包括如下步驟：

S151、設屏幕的左上角為坐標原點，每個像素點的位置坐標為(x，y)，如果該像素點的橫坐標x與縱坐標y之和越小，則該像素點越靠近于屏幕左上角；假設屏幕圖像長度為image_length，如果image_length-x與y之和越小，則該像素點越靠近于屏幕右上角；

S152：通過上述步驟檢測出屏幕第一排最左邊的點和第一排最右邊的點，設兩點坐標分別為(x1，y1)和(x2，y2)，通過θ＝arctan((y2-y1)/(x2-x1))得出這兩點形成的斜率角度；采用上述方法對所有的像素點進行粗略的排序；

S153：獲取上述粗略排序后的坐標排序結果，通過每個點的橫坐標x，縱坐標y，及步驟S83計算出的θ用公式y*cosθ-x*sinθ按從小到大對所有點進行排序，則前rows個點為第一排所擁有的點，并對所述第一排的像素點按照其橫坐標從小到大進行排序，得到第一排的排序對應；

S154：對剩下的(rows*cols-rows)個點逐個進行步驟S81到步驟S84，獲得第二排最左邊的點和第二排最右邊的點，以及第二排的rows個點；同理，依此獲得所有其他排的坐標信息的排序對應；

S155:將上述排序對應的結果中的前rows個點(第一排的總數)按照橫坐標從小到大進行排序，即獲得第一排的正確排序對應，同理依此獲得第2至第cols排的正確排序對應。

優選的，所述的采用OCR字符識別技術對上面標定好的圖像進行檢測的步驟具體包括如下步驟：

S21、獲取背景圖，并對背景圖進行灰度化處理；

S22、獲取當前幀的實時圖像，并對該實時圖像進行灰度處理；

S23、用實時圖像得到的灰度圖減去背景圖得到的灰度圖并取絕對值，獲取一副新的圖像。

S24、對獲取的新的圖像進行二值化處理，獲取二值圖；

S25、對獲取的二值圖進行OCR技術特征提取，并進行特征的匹配，獲取圖像中的字符信息。

優選的，所述的將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡的步驟具體包括如下步驟：

S31、根據獲取到每幀屏幕中書寫筆的位置和所識別的特殊標志，將上一幀的位置和特殊標志的信息保存下來，上一幀的信息存在數組1中，當前幀的信息存在數組2中；

S32、如果上一幀的信息為空，當前幀的信息為空，則說明屏幕中沒有書寫筆書寫；

S33、如果上一幀的信息為空，而當前幀開始有信息，則當前幀存在的每個書寫筆都為新的書寫筆運動的第一幀；

S34、每幀圖像中對上一幀存在的書寫筆在當前幀中進行查找，如果此書寫筆存在，則匹配為此書寫筆的運動軌跡，如果此書寫筆不存在了，則將此書寫筆的運動軌跡標識為結束。

優選的，所述的書寫筆上的特殊標志為數字標號。

由上面的技術方案可知，本發明提供的基于書寫筆的交互方法，是基于帶特殊標志的書寫筆進行的交互，將檢測出的一幀圖像中書寫筆的位置連線組成為連續的運動軌跡，并根據獲取的運動軌跡來判斷是否有幾個書寫筆在屏幕上操作，使得檢測的精準性得到提高，多個運動軌跡不再相互錯亂，多個書寫筆不再誤檢測為一個。

綜上所述，本發明提供的基于書寫筆的交互系統及方法，解決了單一的激光水平面不均勻導致的檢測點位置不準確和多個運動軌跡靠近時候相互錯亂的問題，多個書寫筆被檢測為一個及跟蹤結果有錯誤的問題。

以上的實施方式均為本發明的優選實施方式，并非因此限制本發明的專利保護范圍。任何本發明所屬的技術領域的技術人員，在不脫離本發明所公開的精神和范圍的前提下，對本發明的內容所做的等效結構與等效步驟的變換均落入本發明要求保護的專利范圍之內。