本發明屬于虛擬現實領域，尤其涉及虛擬仿真飛機座艙領域，是一種帶有力/觸覺反饋的虛擬現實飛機座艙系統。

背景技術：

飛行模擬器是對飛行員進行訓練的主要工具，可縮短訓練周期，降低訓練成本，提高訓練安全性。因此，對飛行模擬器的研究具有重要意義。

傳統的全任務飛行模擬器采用大屏幕投影和1：1實物座艙，艙內設備(如控制面板、操縱機構等)均采用與真實座艙尺寸、外形一致的實物，飛行員可直接對其進行操控。此類飛行模擬器功能強大，逼真度高，但體積龐大、結構復雜，且不同型號的飛機需配備不同的模擬器。

虛擬現實飛機座艙以虛擬現實技術作為人機交互方式，用頭盔顯示器和運動跟蹤設備取代了常規飛行模擬器的實物座艙及操縱機構，大大減小了占地面積，精簡了結構，且在結構以及功能上具有較強的柔性。但同時也犧牲了力/觸覺交互，不能獲得較好的沉浸感和交互性。

南京航空航天大學研發的半虛擬現實座艙方案是按照“眼見為虛，手摸為實”原則構建的模擬座艙，取消艙內用于顯示的部件實物，采用頭盔顯示器作為立體顯示設備，但可觸摸操作的部分均保持1：1的實物，為用戶提供力/觸覺反饋。該方案仍存在體積較大、靈活性不佳的問題，沒有突出虛擬現實飛機座艙的優勢。

美國國防部下屬的stricom主持研發的基于topit(touchedobjectspositionedintime)技術的虛擬座艙系統，其中力/觸覺反饋由topit技術實現。該方案是在用戶面前設置一個機械系統，上面裝有不同類型的控件(如按鈕、旋鈕、撥鈕)，每一個控件可代表虛擬座艙中所有同類型的控件。在用戶進行操作時，通過伺服系統將相應的控件送至用戶操作的目標位置，提供力/觸覺反饋。該方案可簡化控制面板和操縱機構，且可通過改變軟件模擬不同的種類的控制面板，但該機械系統體積仍較大，且控件的運動范圍是一個平面，無法實現三維空間中的交互。

技術實現要素：

針對現有技術的不足，本發明提出一種帶有力/觸覺反饋的虛擬現實飛機座艙系統，保持虛擬現實飛機座艙輕便、靈活性強的優點，同時獲得較好的力/觸覺體驗。

本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，為計算機、虛擬現實接口設備和人構成的三層人機閉環系統。

計算機采用基于網絡的分布式結構，采用兩臺，分別為綜合控制計算機與圖像渲染計算機。綜合控制計算機負責運動數據的處理、力/觸覺反饋機構控制、飛行動力學解算和系統的通信與同步；圖像渲染計算機用于虛擬場景的計算與渲染。

虛擬現實接口設備用于實現虛擬環境與人的連接，包括頭盔顯示器、運動跟蹤傳感器與力/觸覺反饋系統。運動跟蹤傳感器包括頭部運動跟蹤傳感器和手部運動跟蹤傳感器，采集用戶的運動數據，送入計算機進行處理；頭盔顯示器將計算機生成的虛擬場景進行三維輸出，為用戶提供視覺反饋；力/觸覺反饋系統包括機械臂、滑軌和控制器，機械臂底座安裝在滑軌上，末端執行器帶有一個裝有不同類型控件的簡化的控制面板，用于給用戶提供力/觸覺反饋。

虛擬座艙系統是人機閉環系統。人的頭部、手部運動數據由運動跟蹤傳感器采集，送入綜合控制計算機，計算出頭部、手部的位置和姿態，并將數據送入圖像渲染計算機。圖像渲染計算機根據頭部位姿數據進行視點變換，更新虛擬場景，并根據手部位姿數據更新虛擬場景中的虛擬手部圖像。同時，綜合控制計算機根據手部位姿數據進行實時手部軌跡預測，并對力/觸覺反饋機構進行軌跡規劃和軌跡生成，控制其運動。當用戶有交互操作時，用戶可在頭盔顯示器中看到虛擬環境中虛擬手對控制面板的操作；與此同時，力/觸覺反饋系統帶動機械臂末端的控制面板將對應的控件移動到用戶操作的目標位置，提供與視覺相配合的力/觸覺反饋。用戶的操縱信號送入飛行動力學模型解算飛機運動參數，并送入圖像渲染計算機，更新座艙外視景。圖像渲染計算機計算生成的圖像通過頭盔顯示器輸出，為用戶提供視覺反饋。

本發明的優點在于：

1、本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，用虛擬現實設備取代了傳統的實物座艙，降低了成本，且取得較強的柔性，不改變硬件結構，只需改變軟件即可對不同機型或不同飛行任務進行仿真。

2、本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，采用基于機械臂的力/觸覺反饋系統，提供真實的力/觸覺交互，提高了交互性和沉浸感，同時保持了虛擬現實飛機座艙輕便、靈活性強的優點。

3、本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，采用基于網絡的分布式結構，可降低對硬件的性能要求。

附圖說明

圖1為本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統整體三層結構示意圖；

圖2為本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統應用流程圖；

圖3為本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統中力/觸覺反饋機構結構示意圖。

圖中：

1-計算機2-虛擬現實接口設備3-人

201-頭盔顯示器202-頭部運動跟蹤傳感器203-手部運動跟蹤傳感器

204-機械臂205-滑軌206-控制器

207-控制面板

具體實施方式

下面結合附圖對發明的技術方案進行詳細說明：

本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，是由計算機1、虛擬現實接口設備2和人3構成的三層人機閉環系統，如圖1所示。

所述計算機1采用基于網絡的分布式結構，每臺計算機作為一個計算節點。本發明中計算機采用兩臺，分別為綜合控制計算機pc1與圖像渲染計算機pc2；其中，綜合控制計算機pc1負責運動數據的處理、力/觸覺反饋機構控制、飛行動力學解算和系統的通信與同步；圖像渲染計算機pc2用于虛擬場景的計算與渲染，虛擬場景包括座艙內部場景，艙外視景及虛擬手部。綜合控制計算機pc1與圖像渲染計算機pc2之間由網線連接，通過ethernet協議通信，進行數據交換和計算同步。

所述虛擬現實接口設備2用于實現虛擬場景與人的連接，采集用戶的運動信息，送入計算機1進行處理后再反饋給用戶，為用戶提供視覺和力/觸覺反饋。本發明中虛擬現實接口設備2包括頭盔顯示器201、運動跟蹤傳感器與力/觸覺反饋機構。

其中，頭盔顯示器201與圖像渲染計算機pc2相連，通過hdmi接口進行圖像傳輸，將圖像渲染計算機pc2生成的虛擬場景進行三維輸出至用戶；用戶佩戴頭盔顯示器201，即可獲取視覺反饋。

運動跟蹤傳感器包括頭部運動跟蹤傳感器202與手部運動跟蹤傳感器203，兩者均與綜合控制計算機pc1相連。頭部運動跟蹤傳感器包括陀螺儀和視頻跟蹤設備，實現用戶頭部姿態和位置數據的獲取；其中，陀螺儀安裝于用戶頭部，獲取用戶頭部姿態數據；視頻跟蹤設備設置于用戶頭部前方，獲取用戶頭部位置數據。手部運動跟蹤傳感器采用用戶手部佩戴的數據手套或設置于用戶前方的視頻跟蹤設備，實現用戶手部運動數據采集，包括手掌的位置和方向數據，以及每個手指關節的角度數據等。

力/觸覺反饋機構包括機械臂204、滑軌205與控制器206。其中，機械臂的末端執行器上安裝有控制面板207，控制面板207上設計有不同種類的控件，為用戶提供真實的觸感。如圖2所示，上述機械臂204底座安裝于滑軌205上，滑軌205采用單自由度滑軌，可為機械臂204增加一個方向的自由度，擴大其可達工作空間。控制器206用于實現對機械臂204的控制，采用單片機，與綜合控制計算機pc1連接，獲取綜合控制計算機pc1發送的控制指令，驅動機械臂204及滑軌205的電機運動，并將運動信息反饋給綜合控制計算機pc1。將力/觸覺反饋機構置于用戶面前，選擇合適的距離，確保機械臂204的工作空間與用戶手部的運動范圍產生交集，以實現與手部的交互。

本發明帶有力/觸覺反饋的虛擬現實飛機座艙系統，在應用時，如圖2所示，流程如下：

(1)用戶佩戴頭盔顯示器201，看到虛擬場景；同時，頭部運動傳感器202與手部運動傳感器203實時采集用戶頭部與手部的運動數據。

(2)將頭部運動數據送入綜合控制計算機pc1，由綜合控制計算機pc1計算頭部的位置和姿態，將數據傳輸給圖像渲染計算機pc2，由圖像渲染計算機pc2根據頭部位置與姿態數據進行視點變換，更新虛擬場景。

(3)將手部運動數據送入綜合控制計算機pc1，由綜合控制計算機pc1計算手部的位置和姿態，并將數據傳輸給圖像渲染計算機pc2，由圖像渲染計算機pc2根據手部的位姿更新虛擬場景中虛擬手部圖像。根據手掌位置和方向數據更新虛擬手部在虛擬場景中的位置和方向；根據手指關節角度信息對虛擬手部進行變形，更新手勢。同時，綜合控制計算機pc1根據手部當前位置和以前的運動軌跡，對手部未來的運動軌跡進行實時預測，預測手部與力/觸覺反饋機構的交互點的空間位置p和手部到達該點p的時間t，對力/觸覺反饋機構進行軌跡規劃和軌跡生成，并將控制指令發送給力/觸覺反饋機構的控制器206，由控制器206驅動機械臂204及滑軌205運動，使末端執行器上的控制面板207上相應的控件可以在時間t到達交互點p，以此為用戶提供力/觸覺反饋。

(4)當用戶對控制面板進行操作時，用戶可在頭盔顯示器201中看到虛擬場景中虛擬手部對虛擬控制面板的操作，同時力/觸覺反饋機構將末端執行器上的控制面板207中相應的控件送至用戶操作的目標位置，為用戶提供與視覺相配合的力/觸覺反饋。根據檢測到的手部位置和機械臂204位置對二者進行接觸檢測，并判斷用戶的操作類型，將用戶的操縱信號送入綜合控制計算機pc1，進行飛行動力學解算，計算飛機運動參數，并送入圖像渲染計算機pc2，進行位姿、視點變換，更新虛擬場景中座艙外視景。