本發明涉及智能機器人領域，具體地說，涉及一種不同應用場景下智能機器人的數據交互方法及裝置。

背景技術：

對于智能機器人來說，最重要的部分就是操作系統。要實現機器人的智能程度，必須依托于強有力的操作系統來充當機器人的大腦角色。然而，現實情況卻是，如果要制造運算能力達到人類水平的機器人，需要一個體積相當于人腦100萬倍的機器人大腦，這樣大的機器人大腦與身體根本無法匹配。

因此提出了云端大腦的概念。在智能交互領域，可以利用云端的形態，將記憶認識和計算認知從云上獲得，而當前的感知、交互認識、行為控制和協調在端上，使得智能機器人有自主學習和主動尋求幫助的能力。

然而，智能機器人還需要具有如何在不同應用場景以及不同狀態下進行數據交互以及正確處理交互內容的能力。

技術實現要素：

本發明的目的在于提供一種與運行應用關聯的智能機器人的數據交互方法，來解決上述技術問題。該方法由機器人操作系統執行，所述機器人操作系統裝載有多個應用。所述方法包括以下步驟：

監聽當前運行應用，創建與運行應用相關聯的對話；

拾取用戶針對該運行應用的多模態交互輸入并解析，從中獲取語義理解信息；

在與運行應用關聯的對話環境下，輸出該運行應用的多模態數據。

根據本發明的與運行應用關聯的智能機器人的數據交互方法，優選的是，所述當前運行應用為系統聊天應用，所述系統聊天應用為智能機器人開機后的默認狀態。

根據本發明的與運行應用關聯的智能機器人的數據交互方法，優選的是，所述方法還包括：

將當前運行應用控制為前臺運行狀態，其中，所述上下文對話實例中的上下文環境參數在本地保存；

進行交互狀態切換時，備份當前運行狀態下的操作系統的運行環境參數，并在再次切換為該運行狀態時，恢復所備份的運行環境參數。

根據本發明的與運行應用關聯的智能機器人的數據交互方法，優選的是，在拾取用戶針對該運行應用的多模態交互輸入并解析的步驟中，系統拾取用戶針對該運行應用的多模態交互輸入并解析上報至服務器；隨后，從服務器中獲取語義理解信息。

根據本發明的與運行應用關聯的智能機器人的數據交互方法，優選的是，所述方法還包括：

根據所述語義理解信息，決策該語義理解信息是否與所述運行應用關聯，并在具備關聯時，輸出多模態數據。

根據本發明的另一個方面，其還提供了一種與運行應用關聯的智能機器人的數據交互裝置。該裝置包括在機器人操作系統中，并包括：

對話管理器，其用以監聽當前運行應用，創建與運行應用相關聯的對話；

語義解析單元，其用以拾取用戶針對該運行應用的多模態交互輸入并解析，從中獲取語義理解信息；

多模態輸出單元，其用以在與運行應用關聯的對話環境下，輸出該運行應用的多模態數據。

根據本發明的與運行應用關聯的智能機器人的數據交互裝置，其特征在于，所述當前運行應用為系統聊天應用，所述系統聊天應用為智能機器人開機后的默認狀態。

根據本發明的與運行應用關聯的智能機器人的數據交互裝置，其特征在于，所述裝置還包括：

狀態機，其用以將當前運行應用控制為前臺運行狀態，其中，所述上下文對話實例中的上下文環境參數在本地保存；

在進行交互狀態切換時，所述狀態機用以備份當前運行狀態下的操作系統的運行環境參數，并在再次切換為該運行狀態時，恢復所備份的運行環境參數。

根據本發明的與運行應用關聯的智能機器人的數據交互裝置，優選的是，在語義解析單元中，

拾取用戶針對該運行應用的多模態交互輸入并解析上報至服務器；

從服務器中獲取語義理解信息。

根據本發明的與運行應用關聯的智能機器人的數據交互裝置，優選的是，所述裝置還包括：

決策單元，其用以根據所述語義理解信息，決策該語義理解信息是否與所述運行應用關聯，并在具備關聯時，輸出多模態數據。

本發明的有利之處在于，由于本發明輸出多模態數據之前，實時監聽當前運行應用，同時創建與運行應用相關聯的對話，隨后獲取用戶針對該運行應用的語義理解信息，因此使得系統可以在與運行應用關聯的對話環境下進行多模態數據的輸出，從而保證機器人多模態輸出的內容與對話環境是關聯的。此外，系統還可以根據云端大腦的返回來維護當前場景的運行環境參數。同時，本發明將運行上下文參數保存在機器人本地，從而不需要云端大腦為每個機器人維護運行上下文環境。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例共同用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1顯示了根據本發明一個實施例的與運行應用關聯的智能機器人的數據交互方法的總體流程圖；

圖2顯示了根據本發明一個實施例的與運行應用關聯的智能機器人的數據交互方法的部分流程圖；

圖3顯示了根據本發明一個實施例的與運行應用關聯的智能機器人的數據交互裝置的結構框圖，以及

圖4顯示了根據本發明一個實施例的與運行應用關聯的智能機器人的數據交互的系統示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，以下結合附圖對本發明實施例作進一步地詳細說明。

如圖1所示，其中顯示了一種與運行應用關聯的智能機器人的數據交互方法的總體流程圖。

在與人進行交互時，機器人對交互內容的處理，需要根據當前機器人所處的狀態及機器人操作系統所處的軟件場景來做出正確的反應。在圖1所示的方法中，系統開機首先進行初始化等一系列操作，S101，以便于將機器人設定在默認的狀態中。根據一個實施例，機器人開機后的默認狀態為聊天狀態。其他應用默認不運行，而處于接收外部多模態交互輸入的狀態。機器人也可以通過發送一段問候語的語音、做出打招呼的手勢等來向用戶表明系統啟動正常。在聊天狀態下，系統可對應當前狀態配置一些機器人屬性，例如語音語速語調等系統配置。

接下來，在步驟S102中，當系統在聊天狀態下，等待用戶輸入多模態交互信息時，還不斷地監聽當前運行應用。如果監聽到有運行應用被用戶啟動或者在某觸發條件滿足的情況下，機器人操作系統自動創建與要進入的運行應用相關聯的對話以進入應用。

當應用啟動后，機器人從聊天狀態進入應用運行狀態。應用運行狀態會將應用的密鑰(appkey)等有關應用的信息進行保存，同時還會針對一些應用的要求來修改機器人屬性。

在新的應用運行時，機器人操作系統會對機器人所處的運行環境進行維護。在一個實施例中，當新場景出現時(例如，應用啟動時)操作系統對默認環境即聊天狀態下的環境進行備份。并在該場景退出時，機器人操作系統可通過之前對運行環境參數的保存而對先前場景進行恢復，從而使得當機器人退出運行應用時，還能夠回到之前的聊天狀態，繼續進行對話聊天。

在步驟S103中，機器人操作系統拾取用戶針對新的運行應用下的多模態交互輸入并進行解析，從而從中獲取語義理解信息。在一個實施例中，對用戶輸入的多模態交互信息的識別可以在本地進行也可以直接上傳至云端大腦而進行分析。例如，用戶發出的一段語音，可以通過本地ASR模塊進行識別，然后通過通信模塊將語音識別內容發送至與機器人不在同一物理位置的云端大腦。在云端大腦，利用其強大的計算能力進行語義解析從而得到用戶的真實意圖。

另外，機器人操作系統還可以通過通信模塊將自身所處的環境情況數據發送給云端大腦，以讓云端了解機器人當前的狀態以及運行環境。在這種情況下，云端大腦可以結合機器人提供的數據對語義解析的內容進行正確的反饋。并將反饋結果回傳給機器人操作系統。

接下來，在步驟S104中，機器人操作系統在獲取了用戶的真實意圖后，結合反饋結果進行判斷是否需要輸出，并在需要輸出的情況下，在與運行應用相關聯的對話環境下輸出該運行應用的多模態數據。

最后，在步驟S105中，機器人操作系統在完成一次交互后，結束當前交互，并退出應用運行。

如圖2所示，其中顯示了一個較為具體的在機器人操作系統中進行不同交互狀態切換的方法流程圖。

本方法開始于步驟S201。在步驟S201中，操作系統在開機后優選將聊天應用設定為智能機器人開機后的默認狀態。在默認狀態下，進行聊天應用環境參數的配置，設置語音語調，選擇語言模式等。還可以，在一段時間未得到用戶響應的時候，自動發出問候語，或者

具體地，在此步驟之前，機器人操作系統還可以根據云端大腦的返回情況，及一些其他應用啟動等導致的運行環境變化對當前場景進行維護。例如，當云端返回了針對用戶語音的回答結果后，機器人操作系統發現該回答結果與機器人所處的當前應用并無關聯，例如當前已從聊天狀態切換到其他應用運行的狀態(唱歌應用)，那么此時，機器人不會輸出語音回答結果，而是將歌曲繼續播放完整。該回答結果可以在機器人本地做丟棄處理。

在一種情況下，可以通過判斷歌曲應用的播放時間來決定是否在歌曲應用結束后進行回答用戶的交互輸入。在另一個優選的實施例中，還可以通過記錄被打斷的事件，而在歌曲應用結束后，詢問用戶所提出的問題。

當然，為了能夠減少機器人與云端大腦之間不必要的通信量，可以將上下文運行環境參數保存在機器人本地，由機器人操作系統負責對自身的運行環境進行維護，而不需要云端大腦再為每個機器人維護運行上下文環境。

接下來，在步驟S202中，在進入應用運行時，將當前運行應用控制為前臺運行狀態。把當前運行應用控制為前臺運行，可以方便用戶知道機器人目前所在的狀態，是否適合聊天交互等。在當前應用運行需要被中斷時，機器人操作系統可以通過特定的命令將當前應用控制為后臺運行或者直接退出運行。

接下來，在步驟S203中，當系統需要進行交互狀態切換時，操作系統會備份當前運行狀態下的操作系統的運行環境參數，并在再次切換為該運行狀態時，恢復所備份的運行環境參數。在這種情況下，機器人操作系統可以在應用退出時，自動回到進入該應用之前的狀態。

由于本發明的方法描述的是在計算機系統中實現的。該計算機系統例如可以設置在機器人的控制核心處理器中。例如，本文所述的方法可以實現為能以控制邏輯來執行的軟件，其由機器人控制系統中的CPU來執行。本文所述的功能可以實現為存儲在非暫時性有形計算機可讀介質中的程序指令集合。當以這種方式實現時，該計算機程序包括一組指令，當該組指令由計算機運行時其促使計算機執行能實施上述功能的方法。可編程邏輯可以暫時或永久地安裝在非暫時性有形計算機可讀介質中，例如只讀存儲器芯片、計算機存儲器、磁盤或其他存儲介質。除了以軟件來實現之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設備(諸如，現場可編程門陣列(FPGA)或微處理器)結合使用的可編程邏輯，或者包括它們任意組合的任何其他設備來體現。所有此類實施例旨在落入本發明的范圍之內。

因此，根據本發明的另一個方面，還提供了一種與運行應用關聯的智能機器人的數據交互裝置300。如圖3所示，該裝置300包括在機器人操作系統中，并包括：

對話管理器301，其用以監聽當前運行應用，創建與運行應用相關聯的對話；

語義解析單元302，其用以拾取用戶針對該運行應用的多模態交互輸入并解析，從中獲取語義理解信息；

多模態輸出單元303，其用以在與運行應用關聯的對話環境下，輸出該運行應用的多模態數據。

在根據本發明的與運行應用關聯的智能機器人的數據交互裝置中，優選的是，所述當前運行應用為系統聊天應用，所述系統聊天應用為智能機器人開機后的默認狀態。

在根據本發明的與運行應用關聯的智能機器人的數據交互裝置中，優選的是，所述裝置300還包括：

狀態機，其用以將當前運行應用控制為前臺運行狀態，其中，所述上下文對話實例中的上下文環境參數在本地保存；

在進行交互狀態切換時，所述狀態機用以備份當前運行狀態下的操作系統的運行環境參數，并在再次切換為該運行狀態時，恢復所備份的運行環境參數。

在根據本發明的與運行應用關聯的智能機器人的數據交互裝置中，優選的是，在語義解析單元中，

拾取用戶針對該運行應用的多模態交互輸入并解析上報至服務器；

從服務器中獲取語義理解信息。

在根據本發明的與運行應用關聯的智能機器人的數據交互裝置中，優選的是，所述裝置還包括：

決策單元，其用以根據所述語義理解信息，決策該語義理解信息是否與所述運行應用關聯，并在具備關聯時，輸出多模態數據。

如圖4所示，其中詳細顯示了根據本發明一個實施例進行機器人交互時機器人圖靈操作系統工作的示意圖。在機器人開機進行綁定后，首先圖靈操作系統控制其進入正常的聊天狀態。這時，如果用戶發出語音，機器人的ASR模塊對該段語音進行識別，并將識別的ASR內容通過本地的大腦服務器上報給遠程的云端大腦做語義理解。

這時，圖靈操作系統會從對話模塊的對話管理器(DialogMananger)中獲取機器人的當前狀態為：系統聊天。操作系統將之前獲取的語音識別內容跟系統聊天的當前狀態一同上報至云端。發送至云端的通信方式很多種，例如通過移動通信網絡、無線局域網等。云端可以根據當前環境對語音識別內容做出對應的理解，并向機器人下發理解后的文本響應內容。

機器人圖靈操作系統接收到文本響應內容后，根據當前所處狀態(聊天中)，播放出文本到語音(TTS)的內容。

當進入例如唱歌應用后，機器人圖靈操作系統為唱歌應用新建對話(Dialog)，并加入到對話管理器DialogManager中，并將唱歌Dialog標記為前臺。這時，如果已經存在本地大腦服務器做出的語音識別結果，則同上，云端對識別結果做出分析后，將分析內容發送給圖靈操作系統。

接下來，圖靈操作系統會根據當前狀態，并結合云端返回的信息的類型，如果是唱歌應用關心的交互則將消息發給唱歌應用，如果是閑聊內容則丟棄。

對于用戶輸入信息(例如識別出的語音內容)的處理策略的選擇，根據從對話管理器(DialogManager)中和系統全局配置文件中讀取狀態，對輸入信息的處理策略做出選擇。

在一個實施例中，對于上傳云端所要求的數據，則需要從對話管理器(DialogManager)中取得，云端結合機器人的狀態結合輸入內容一同決定語義如何理解。對于云端識別后下發的命令，則結合當前狀態決定是直接輸出，或者新建應用并切換到另外的應用運行狀態中。

應該理解的是，本發明所公開的實施例不限于這里所公開的特定結構、處理步驟或材料，而應當延伸到相關領域的普通技術人員所理解的這些特征的等同替代。還應當理解的是，在此使用的術語僅用于描述特定實施例的目的，而并不意味著限制。

說明書中提到的“一個實施例”或“實施例”意指結合實施例描述的特定特征、結構或特性包括在本發明的至少一個實施例中。因此，說明書通篇各個地方出現的短語“一個實施例”或“實施例”并不一定均指同一個實施例。

雖然本發明所公開的實施方式如上，但所述的內容只是為了便于理解本發明而采用的實施方式，并非用以限定本發明。任何本發明所屬技術領域內的技術人員，在不脫離本發明所公開的精神和范圍的前提下，可以在實施的形式上及細節上作任何的修改與變化，但本發明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。