本發明涉及可編程交互控制，具體涉及一種圖形化編程的多模式交互輸入控制器、多模式交互控制方法及系統。

背景技術：

1、隨著移動設備和互聯網技術的發展，圖形化編程開始向移動端和在線平臺擴展。目前各種主流的在線圖形化編程平臺，如python、mind+、scratch等日益普及，使得圖形化編程更加普及。當前的圖形化編程工具更加多樣化和專業化，不僅用于教育領域，也開始應用于工業自動化、機器人編程等領域。圖形化編程從專業領域向大眾普及的轉變，它降低了編程學習的門檻，使得非專業人士也能參與到編程和創新中來。

2、現有技術中，公告號為cn109634592a的中國發明專利申請文獻公開的圖形化python編程交互方法、系統及電子設備，就提供了一種在積木編程模式下，其積木編輯模塊可通過拖拽、拼接、組合預先存儲的積木，編寫python代碼；其文本代碼編輯模塊在文本代碼編程模式下，通過文本的形式展示和編寫python代碼；其轉換模塊將封裝后的積木與python代碼互相轉換；其運行模塊對編寫好的python代碼進行執行；其輸出模塊用來輸出python代碼的運行結果。該發明實施例通過圖形化的積木一一對照python代碼，輔助python編程，降低了python編程難度，方便青少年等初學者學習python編程，實現了可視化、圖形化的編程。

3、現有技術中的圖形化可編程電子產品及系統，通常均是采用軟件+硬件的模式呈現和使用。軟件部分主要包括編程平臺工具，內置代碼的輸入、編譯和執行程序；硬件部分主要包括輸入控制端和執行輸出端。例如，公告號為cn106178505a的發明申請公開的一種圖形化兒童編程玩具及其方法，玩具包括圖形化編程系統和受控機器人；所述的圖形化編程系統包括圖形化編程模塊、數據處理模塊和數據發送模塊；所述的圖形化編程模塊包括圖形化編程塊選擇單元、圖形化編程塊組合單元、編程塊編輯單元、編程執行單元；所述的數據處理模塊用于將編程塊組合結果進行數據處理，方便于后期的發送；所述的數據發送模塊用于將數據處理完成的數據發送至受控機器人；所述的受控機器人包括數據接收模塊、處理器、驅動裝置和執行裝置。本發明將圖形化編程與實物機器人控制進行結合，通過圖形化編程界面使得兒童更易理解編程語言，同時通過實物機器人給兒童以真實化的編程感受。

4、常規的圖形化編程的學習，編程輸入和程序控制過程中，一般都是通過編程智能終端的屏幕或者鍵盤、按鍵進行輸入的，操作的易用性、靈活性、互動性、趣味性不足；為了克服這一不足，市面上也出現了部分采用游戲手柄進行輔助輸入的技術，例如中國專利文獻cn210573679u公開的一種編程手柄，包括殼體、方向控制鍵、外接模擬輸入端、usb接線、開關按鍵、聲音傳感器、光敏傳感器、振動傳感器和手柄，方向控制鍵設置在殼體上表面的左上角，開關按鍵設置在殼體上表面上的右上角，殼體內部設有聲音傳感器、光敏傳感器和振動傳感器，usb接線設置在殼體頂部，外接模擬輸入端設置在殼體頂部并處于usb接線旁。該編程手柄采用usb方式連線，雖然解決了編程手柄充電的技術問題，但是需要通過usb連線與編程設備例如平板電腦、智能手機對接，均采用有殼體設計，體積大、缺乏時尚感和產品設計的透明度，只能直接操作手柄上的按鍵才能進行輸入；同時，采用的方向控制鍵等機械按壓鍵在長期使用后容易接觸不良或者損壞，采用usb連線的長度受限，連接和使用不方便，操作空間和操作方式均受到了較多的限制。

5、綜上，現有技術的圖形化編程的輸入和控制，存在著如下幾方面的問題：一是編程輸入或交互控制的操作模式單一，使用者僅能直接操作編程終端或者操作編程手柄的按鍵輸入（即只能采用直接輸入一種模式）；現有編程輸入控制手柄，多數來自現有的有線的游戲手柄，游戲手柄往往比較厚重，攜帶不方便，傳統的按壓按鈕壽命有限，還容易導致在圖形化編程過程中的按鍵指令兼容性極差的問題，按鈕或者按鍵的結構固定、為全封閉式結構；還有的編程輸入控制手柄采用傳統藍牙手柄，這種藍牙手柄往往能耗比較高，其通過關閉開關來實現省電；如果忘記關閉開關，會導致學生在圖形化編程時因手柄缺電而無法使用的情況，很容易影響編程的學習；由于編程終端和編程手柄的連接方式的限制，使用者只能是對編程終端和編程手柄的本體操作，而無法離開編程終端和編程手柄本體的非本體（如道具等其他物品）進行操作；編程終端和編程手柄本體的體積大、形狀單一、結構封閉，形象化、趣味性不足，對于圖形化編程的過程，以及編程后程序執行過程中的控制，均存在著操作空間、自由度、應用場景和趣味性等的諸多限制，無法實現在大空間范圍、大自由度和多編程、多執行方式的圖形化編程的多模式交互編程輸入與程序運行控制，不能滿足不同使用者、不同編程內容、不同場景下的程序控制和程序控制效果等多方面的需求。

技術實現思路

1、本發明的目的在于針對上述的不足，提供一種全新開放式設計的圖形化編程的多模式交互輸入控制器、多模式交互控制方法及系統，通過對硬件與操作模式的同步改進，使其支持多種輸入模式，包括多種非直接操作手柄本體的多種間接輸入模式，大幅增加了使用者及產品的使用空間和自由度，使圖形化編程、程序運行控制技術及其產品的趣味性和應用場景均能得到顯著的提高，使用者能夠實現在大空間范圍、大自由度、多應用場景和多種道具參與的圖形化編程，并且支持多編程輸入、多執行控制的多模式交互控制，以解決上述現有技術的多種問題，滿足使用者對圖形化編程技術及產品的多種需求。

2、本發明提供如下的技術方案：

3、一種圖形化編程的多模式交互輸入控制器，其特征在于，其是直接向外裸露觸摸輸入觸點電極的薄片面板狀控制手柄，其包括pcb電路板、以及設置于pcb電路板上至少一個直接向外裸露觸摸輸入觸點電極，該裸露的觸摸輸入觸點電極的金屬感應工作面，能夠被使用者的人體接觸時直接觸發，或者通過連接該裸露觸摸輸入觸點電極的延長線、道具，被使用者的人體接觸時間接觸發，進行間接接觸控制手柄的圖形化編程的多模式交互輸入或控制。

4、所述的圖形化編程的多模式交互輸入控制器，其是電容信號觸發的交互輸入控制器，以每個裸露的觸摸輸入觸點電極的金屬觸片為感應工作面，基于人體接觸時的電流感應觸發輸入信號。

5、所述的圖形化編程的多模式交互輸入控制器，其是電阻信號觸發的交互輸入控制器，以每個裸露的觸摸輸入觸點電極正極工作面與負極工作面之間的通斷觸發輸入信號；所述的每個裸露的觸摸輸入觸點電極均包括設置在pcb電路板上、相互緊鄰但隔開的正極金屬觸片與負極金屬觸片，作為一組感應工作面，分別對應正極工作面與負極工作面，在人體同時接觸正極工作面與負極工作面時，正極與負極之間的電流通斷狀態變化觸發輸入信號。

6、所述的圖形化編程的多模式交互輸入控制器，其金屬正極工作面與負極工作面處于pcb電路板的同一平面上，為相互環繞設置，并且相互之間設有狹窄的環形絕緣凹槽；人體手指前端較小面積的皮膚能夠同時接觸同一組感應工作面中的正極工作面與負極工作面，觸發輸入信號。

7、所述的延長線為導電線，每一條的一端與pcb電路板上的一個裸露觸摸輸入觸點電極的感應工作面連接，另一端與道具的導電按鍵區域連接；在人體接觸道具的導電按鍵區域時的觸發信號，通過延長線傳導至裸露觸摸輸入觸點電極上，進行間接接觸的圖形化編程的多模式交互輸入或控制；所述的道具，是與圖形化編程內容或程序執行控制的場景相適配的實體物品。

8、一種圖形化編程的多模式交互控制系統，其特征在于，其所述的圖形化編程的多模式交互輸入控制器，以及圖形化編程智能終端、執行程序的電子產品；

9、在圖形化編程智能終端內，設置有圖形化編程軟件，用于接收和處理所述多模式交互輸入控制器發送的編程信號或者控制信號，或者將該編程信號或者控制信號轉發給執行程序的電子產品；

10、所述執行程序的電子產品，用于執行所述多模式交互輸入控制器、圖形化編程智能終端發送的編程信號或者控制信號。

11、所述的圖形化編程智能終端，是手持式智能終端設備或者計算機；該圖形化編程智能終端用于提供圖形化編程環境、編程軟件，或直接執行編制完成的圖形化程序；

12、所述執行程序的電子產品，包括圖形化編程智能終端或可編程電子積木；

13、多模式交互輸入控制器，其包括設置有直接向外裸露觸摸輸入觸點電極的pcb電路板，以及用于連接所述pcb電路板上任意一個裸露觸摸輸入觸點電極的金屬感應工作面、能夠被使用者的人體接觸時間接觸發的延長線、道具。

14、一種圖形化編程的多模式交互控制方法，其包括如下步驟：

15、s1、設置多模式交互控制硬件環境

16、分別設置圖形化編程的多模式交互輸入控制器、圖形化編程智能終端、執行程序的電子產品；

17、s2、設置多模式交互控制軟件環境

18、在圖形化編程智能終端內，設置圖形化編程軟件；

19、將多模式交互輸入控制器、圖形化編程智能終端、執行程序的電子產品通過無線信號連接；

20、s3、進行圖形化編程的多模式交互控制操作

21、使用者通過身體的任意導電部位，選擇以接觸多模式交互輸入控制器上的任意觸摸輸入觸點電極的金屬感應工作面直接觸發，或通過延長線、道具上的金屬感應工作面間接觸發，然后再選擇以電阻信號觸發的交互輸入控制器觸發或電容信號觸發的交互輸入控制器，所形成的多種交互輸入模式組合方式之一，向圖形化編程智能終端或執行程序的電子產品發送輸入或控制信號，完成圖形化程序編制；

22、s4、呈現圖形化編程的多模式交互控制結果

23、圖形化編程智能終端接收和處理后，直接執行編制的圖形化程序，或者發送給執行程序的電子產品執行；

24、執行程序的電子產品接收信號后，執行使用者輸入的控制指令，呈現圖形化編程的交互控制結果。實現在大空間范圍、大自由度、多應用場景、多種道具參與的，具體多編程、多執行方式的圖形化編程的多模式交互控制。

25、本發明提供的圖形化編程的多模式交互輸入控制器、多模式交互控制方法及系統的有益效果至少包括如下幾點：

26、1、本發明提供的圖形化編程的多模式交互輸入控制器、多模式交互控制方法及系統，重點是針對現有技術封閉式設計導致的多方面的不足，設計了直接向外裸露觸摸輸入觸點電極的薄片面板狀控制手柄與延長線、道具相互配合，對硬件與操作模式的同步改進，實現軟硬件與輸入、控制操作的場景化、大自由度的協同；本發明提供的系統，支持多種輸入模式、能夠適用于更大的空間和更多的場景，其中還包括多種非直接操作手柄本體的多種間接輸入模式，大幅增加了使用者及產品的使用空間和自由度，使圖形化編程、程序運行控制技術及其產品的趣味性和應用場景均能得到顯著的提高，使用者能夠實現在大空間范圍、大自由度、多應用場景和多種道具參與的圖形化編程，并且支持多編程輸入、多執行控制的多模式交互控制，較為全面的解決了現有技術的多種問題，能夠同時滿足使用者對圖形化編程技術及產品的多種需求。

27、2、本發明通過對多模式交互輸入控制器及各個裸露的觸摸輸入觸點電極的開放式設計，以及設計協同工作的正負極金屬感應工作面，不僅能使其使其支持多種輸入模式，包括非直接操作手柄本身的多種間接輸入模式，更重要的是其還進一步融合了電容信號觸發和電阻信號觸發方式，進一步支持單點（單手）操作模式；對于各個觸摸輸入觸點電極，無論其采用的是電容信號觸發還是電阻信號觸發方式，使用者都能通過單手觸控輸入或控制，使用者僅使用單手中的一個手指觸摸任意一個觸點電極，都能觸發信號輸入，即可單手完成信號輸入或者控制的操作；大幅增加了使用者及產品的使用空間和自由度，使可編程技術及其產品的趣味性和應用場景得到顯著的提高，能夠滿足圖形化編程技術及產品的多種需求。

28、3、本發明通過引入延長線和道具，配合開放式設計的pcb電路板、直接向外裸露觸摸輸入觸點電極，完全突破了現有技術對使用者的使用空間、場景及自由度的限制；將多模式交互輸入控制器嵌設在場景化設計的各種道具中，或者以其他的形式與道具進行連接和組合，能夠使多模式交互輸入控制器完全融入到具體的程序運行場景中，大幅提高了可編程技術及其產品的趣味性、自由度，豐富了應用場景，提高了用戶體驗，因此能滿足圖形化編程技術及產品的多種多樣的場景化需求。

29、4、本發明提供的多模式交互輸入控制器及各個裸露的觸摸輸入觸點電極，通過多方面的結構改進，簡化了整體的結構設計，對整機進行小型化、低功耗處理，取消了開關鍵、外殼的設計，將各按鍵均由傳統的按壓按鈕改進為直接設置在pcb板上的電阻式pad（電容信號傳感器），使其結構緊湊、體積小、重量輕；編程過程中不需要連線，采用配對的藍牙連接，減少在使用過程中出現通信故障，控制距離長、使用靈活，從而提高觸摸式無線圖形化編程觸控顯示面板的整體使用壽命、工作效率和穩定性。

30、5、本發明提供的多模式交互輸入控制器，通過多方面的結構改進設計，采用紐扣電池就能長期供電，無需外殼即可使用，手柄厚度大大減少，降低了整體體積和重量，方便收納。

31、6、本發明提供的多模式交互輸入控制器，其設置的一組方向pad和一組控制pad，均為點陣觸摸感應，無實體按鈕，每個pad能夠對應不同的輸入信號（控制指令），結構緊湊，操作方便，反應靈敏。

32、7、本發明的多模式交互輸入控制器，還設置了一組單色或多色指示燈的設計，可以完成對不同編程輸入和程序控制狀態、功能的指示。

33、8、本發明的多模式交互輸入控制器，將各按鍵由傳統的按壓按鈕改進為電阻式pad，延長了壽命；采用低功耗的藍牙5.4模組配合紐扣電池，即可完成數千小時的待機；取消了開關鍵的設置，簡化了結構；采用藍牙配對的安全連接，極大減少了信號干擾，能夠保證對圖形化編程軟件的順利輸入控制，可廣泛應用于電子積木、機器人等各種可編程電子產品的信號輸入和控制。

34、9、本發明提供的整體技術方案，將編程輸入與程序運行控制相結合，將電容信號觸發與電阻信號觸發相結合，將有線與無線技術相互結合，將直接對控制器本體的操作與對各種不同道具的操作相結合，使用者能夠實現在大空間范圍、大自由度、多應用場景、多種道具參與的各種編程和程序執行控制等操作，并且編程輸入和交互控制的模式多種多樣，與程序運行具體場景的融合度高、互動性強、操作簡便，有助于快速提升使用者的圖形化編程等的科學素養和創新能力。