本發明涉及數字孿生，具體地說是一種數字孿生應用程序觸屏交互系統及方法。

背景技術：

1、隨著當前大數據采集以及數字孿生應用技術的發展，通過三維建模技術以及數據采集技術進行控制系統的展示需求也變得越來越旺盛，隨之而來的對于大屏端展示系統的觸屏交互控制也變得越發重要。

2、當前技術在數字孿生應用程序遠程觸屏控制方面取得了顯著的進展，但由于技術路徑因素等影響，大屏沉浸式場景下的數字孿生應用程序遠程觸屏控制存在著開發模式、無法多端適配以及受限于網絡質量等問題，這大大降低了數字孿生應用程序的技術價值以及業務價值。

3、當前在可視化渲染引擎中進行三維場景觸屏控制主要有三種，具體如下：

4、一種是基于http以及websocket進行三維場景的遠程觸屏控制，這一方法主要依賴http和websocket協議，用于在數字孿生應用程序中實現遠程控制。通過在數字孿生應用引擎中手寫c++或藍圖代碼，開發者可以構建自定義的http和websocket接口，進而將這些接口暴露給外部，允許通過前端(如vue)發送控制請求，實現對三維場景的觸屏操作。此種方法開發復雜性高，由于沒有標準化的接口定義，開發者需要為每個具體場景手動編寫接口代碼，涉及的協議封裝工作繁瑣且容易出錯，后期維護困難，隨著接口的增多和系統復雜度的提升，手動維護這些接口變得越來越困難，尤其是當不同協議需要兼容或升級時，系統的靈活性與可擴展性受限。

5、第二種方法是基于像素流送的方式進行三維場景的觸屏遠程控制，像素流傳輸通過將數字孿生應用引擎的渲染結果作為視頻流傳輸至遠程設備，用戶通過觸屏來實現對場景的交互。此種方法對網絡帶寬要求高，像素流傳輸對網絡環境的依賴性非常強，網絡不穩定或帶寬不足時，畫面容易出現模糊、卡頓現象，影響用戶體驗。交互延遲問題，由于需要將場景畫面進行編碼并傳輸給客戶端，再等待客戶端的交互指令傳回，整個過程容易產生明顯的延遲，尤其在遠程網絡條件較差的情況下，交互滯后感明顯，無法滿足實時性的應用需求。

6、第三種方法是基于打包apk的方式進行三維場景的觸屏交互控制，這一方法通過將三維場景打包為apk(android應用程序)并部署到目標設備上，用戶通過該應用程序實現觸屏控制。這種方法適用于特定硬件環境，可以直接在本地運行渲染引擎，減少了對網絡傳輸的依賴。此種方法受限于硬件性能，apk的運行依賴于設備的計算能力和圖形處理性能，因此對于高復雜度的場景，特別是需要實時渲染的大型三維數字孿生場景，普通移動設備難以勝任，常常導致性能瓶頸，交互體驗不佳。觸屏交互支持有限，apk形式的應用在觸屏交互上相對局限，尤其是復雜手勢控制和多點觸控的支持不足，用戶體驗受限于設備本身的觸控硬件特性。

7、以上三種現有的技術實現方式在具體應用中各有不足：

8、①基于http和websocket的實現雖然靈活但開發與維護成本高；

9、②基于像素流傳輸的方式雖然能夠提供較為直觀的遠程控制體驗，但對網絡的依賴性強，延遲問題難以解決；

10、③基于apk打包的方法雖然繞過了網絡問題，但由于硬件性能的限制，難以承載復雜的數字孿生場景交互。

11、上述方法在實現數字孿生場景的觸屏交互時，盡管具備一定的可行性，但受限于技術實現的復雜性和硬件、網絡等外部條件，無法在各類場景中提供一致的高效用戶體驗。

技術實現思路

1、本發明的技術任務是提供一種數字孿生應用程序觸屏交互系統及方法，來解決現有數字孿生技術在多個關鍵方面的局限性的問題。

2、本發明的技術任務是按以下方式實現的，一種數字孿生應用程序觸屏交互操作系統，該系統包括用戶界面、指令發送模塊、網絡通信模塊和接口封裝模塊；

3、用戶界面包括至少一個虛擬旋鈕和多個觸摸按鈕；

4、指令發送模塊用于將識別的手勢操作轉換為控制指令；

5、網絡通信模塊用于根據操作的性質和數據傳輸需求選擇http或websocket協議進行數據的發送和接收；

6、接口封裝模塊用于將數字孿生引擎的所有控制接口統一封裝并暴露給前端。

7、作為優選，用戶界面上的虛擬旋鈕用于控制數字孿生模型的移動和視覺旋轉。

8、作為優選，用戶界面上的觸摸按鈕與不同控制指令相對應，用于發送控制數字孿生場景的指令。

9、作為優選，網絡通信模塊用于根據實時性和數據量的需求動態選擇http或websocket協議。

10、更優地，接口封裝模塊提供一個標準化的接口集合，使得前端通過網絡協議進行調用。

11、一種數字孿生應用程序觸屏交互操作系方法，該方法具體如下：

12、通過用戶界面接收用戶的觸屏操作；

13、通過指令發送模塊將識別的手勢操作轉換為控制指令；

14、通過網絡通信模塊使用http或websocket協議發送控制指令；

15、通過接口封裝模塊調用數字孿生引擎的控制接口；

16、接收數字孿生引擎的反饋信息并更新用戶界面。

17、作為優選，通過接口封裝模塊調用數字孿生引擎的控制接口過程中，動態選擇http或websocket協議以適應不同的網絡條件和數據傳輸需求。

18、更優地，接收數字孿生引擎的反饋信息并更新用戶界面過程，通過標準化的接口集合與數字孿生引擎進行數據交換。

19、更優地，用戶界面包括至少一個虛擬旋鈕和多個觸摸按鈕；

20、用戶界面上的虛擬旋鈕用于控制數字孿生模型的移動和視覺旋轉；

21、用戶界面上的觸摸按鈕與不同控制指令相對應，用于發送控制數字孿生場景的指令。

22、更優地，接口封裝模塊提供一個標準化的接口集合，使得前端通過網絡協議進行調用。

23、本發明的數字孿生應用程序觸屏交互系統及方法具有以下優點：

24、(一)本發明通過數字孿生技術實現觸屏交互的精準、高效與智能化，提升用戶體驗和應用程序的可用性；

25、(二)本發明旨在全面克服現有數字孿生技術在多個關鍵方面的局限性：首先，針對現有技術中因網絡依賴性強而導致的延遲和不穩定問題，本發明通過采用創新的通信協議和數據處理機制，顯著提高了系統在各種網絡條件下的魯棒性和交互的實時性；其次，為了降低開發和維護的成本，本發明通過簡化系統架構和優化算法，減少了對專業技術人員的依賴，同時提高了系統的可維護性；

26、(三)本發明致力于打造一種跨平臺兼容的解決方案，確保數字孿生應用程序能夠在不同的操作系統和硬件設備上無縫集成和運行，從而拓寬了潛在用戶群體并增強了市場競爭力；在用戶體驗方面，本發明通過深入研究用戶交互習慣和觸屏操作的直觀性，設計了一套直觀、易用且高效的用戶界面，極大地提升了用戶的操作便利性和滿意度；

27、(四)本發明提升了操作直觀性：通過在用戶界面上集成虛擬旋鈕和觸摸按鈕，用戶可以直觀地進行精確控制，包括數字孿生模型的移動和視角調整，從而提高了操作的便捷性和準確性；

28、(五)本發明增強了交互實時性：采用http和websocket協議的結合，確保了用戶操作的實時響應，使得用戶與數字孿生場景之間的交互更加流暢，減少了等待時間，提升了用戶體驗；

29、(六)本發明優化了網絡通信效率：系統根據數據傳輸的需求靈活選擇http或websocket協議，優化了網絡資源的使用，減少了數據傳輸的延遲，提高了通信效率；

30、(七)本發明簡化了接口管理：通過統一封裝數字孿生引擎的控制接口，簡化了前后端之間的交互復雜性，使得接口的管理、維護和擴展變得更加容易；

31、(八)本發明提高了系統的可維護性和擴展性：封裝的接口和模塊化的設計使得系統更容易維護和升級，同時也方便了未來功能的擴展和新技術的集成；

32、(九)本發明增強了用戶體驗：整體系統設計注重用戶體驗，通過提供實時反饋和簡化的操作流程，使用戶能夠更加專注于任務本身，而不是操作過程；

33、(十)本發明支持廣泛的應用場景：本發明的技術方案不僅適用于特定的數字孿生場景，而且具有廣泛的適用性，能夠支持智能制造、智慧城市、遠程醫療手術模擬等多個領域的應用需求；

34、(十一)本發明通過其技術方案實現了一種高效、直觀、實時且用戶友好的數字孿生應用程序觸屏交互操作系統，為用戶提供了卓越的交互體驗，并為數字孿生技術的應用提供了強大的技術支撐。