本發明涉及顯示，特別是涉及一種基于數據質量的仿真系統可信性評估方法和系統。

背景技術：

1、仿真技術是解決真實系統實驗過于困難或代價過高問題的一種有效手段。隨著仿真技術的不斷發展、仿真應用價值的不斷提升，仿真的應用領域越來越廣泛，仿真系統的復雜性也逐漸增加，這導致了對于仿真正確性和可信度的要求越來越高。對于復雜仿真系統而言，如果不進行可信性評估，用戶就無法確定其仿真執行結果滿足仿真目的的程度，以及對于預期工程應用來說是否具有可用性的程度。不正確的仿真結果如果未被及時發現，將導致重大的決策失誤或實際應用事故。評估復雜仿真系統的正確性和可信性，是仿真技術領域理論發展和仿真系統應用構建的重要工作。

2、當前，仿真可信性的理論、方法、技術、規范和工具需要伴隨著仿真技術與仿真應用的發展而同步發展。然而，由于仿真應用相關技術發展過快，復雜仿真系統可信性評估中涉及多場景、多對象、多模型、多層次、多目標、多階段的高維空間，使得仿真的執行具有不確定性、模糊性和復雜性的影響因素，從而導致可信性評估難度的提升。此外，隨著數字孿生等技術的發展，仿真系統需要管理大量仿真對象的數字化模型，仿真執行也將產生大量過程與結果數據，這些與仿真密切相關的數據是可信性評估不可忽視的評估對象。目前，對于仿真可信性評估在方法上主要基于建模與仿真（modeling?and?simulation，m&s）的校核、驗證與確認（verification、validation?and?accreditation，vv&a）技術，形成了貫穿仿真系統全生命周期的評估方法。然而，在實踐中對復雜仿真系統的可信性評估工作面臨著多種問題與挑戰。首先，現有的可信性評估方法缺少對仿真場景復雜性的考慮，大量的仿真影響因素導致需要通過大量采樣才能夠形成全面覆蓋的仿真結果集；其次，仿真系統直接基于接入的數字化模型執行仿真，仿真結果的驗證可能面臨著缺少充分原型系統數據支撐；再次，對于仿真對象參考數據缺失的情況下，專家評分會提高可信性評估的主客觀地合成各類評估；最后，仿真系統中存在大量的數據內容，如果不進行數據質量控制將嚴重影響可信性評估結果的準確性。

3、綜上所述，對于當前復雜仿真系統，如何提高仿真實驗的可信性評估結果，成為本領域技術人員亟待解決的技術問題。

技術實現思路

1、為了解決上述問題至少之一，本發明第一個實施例提供一種基于數據質量的仿真系統可信性評估方法，包括：

2、采集仿真系統中仿真實驗的原始信息、分析所述原始信息并獲取仿真實驗的影響因素，所述原始信息包括所述仿真實驗的仿真目標文檔、仿真場景配置文檔、數字模型文檔和仿真子系統文檔，所述影響因素包括可信性影響因素和仿真結果影響因素；

3、根據所述可信性影響因素構建所述仿真實驗的置信度評估指標體系，并設置所述置信度評估指標體系的各層指標的指標權重；

4、根據所述仿真結果影響因素生成所述仿真實驗的多組輸入數據，并根據預設置的數據質量檢測標準分別對各組輸入數據進行檢測并生成檢測結果；

5、使用檢測結果滿足檢測閾值的輸入數據進行所述仿真實驗并獲取評估數據，使用所述置信度評估指標體系對所述評估數據進行評估并生成所述仿真實驗的置信度評估結果。

6、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，

7、所述采集仿真系統中仿真實驗的原始信息、分析所述原始信息并獲取仿真實驗的影響因素進一步包括：

8、分析所述原始信息并獲取所述仿真實驗的相關數據，所述相關數據包括仿真系統數據、場景環境數據、對象個體性能數據、對象間協同數據和仿真結果數據；

9、根據所述相關數據提取出所述影響因素，所述可信性影響因素包括仿真系統可信性因素、數據和模型可信性因素、仿真過程可信性因素和仿真結果可信性因素，所述仿真結果影響因素包括模型輸入變量、場景參數和仿真系統參數。

10、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，所述根據所述可信性影響因素構建所述仿真實驗的置信度評估指標體系，并設置所述置信度評估指標體系的各層指標的指標權重進一步包括：

11、將所述仿真系統可信性因素、數據和模型可信性因素、仿真過程可信性因素和仿真結果可信性因素作為一級評估指標；

12、根據所述仿真實驗的實驗場景對所述一級評估指標分別進行逐級分解并形成層次化的置信度評估指標體系；

13、設置所述置信度評估指標體系中的各層指標的指標權重。

14、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，

15、所述根據所述仿真實驗的實驗場景對所述一級評估指標分別進行逐級分解并形成層次化的置信度評估指標體系進一步包括：

16、所述仿真系統可信性因素包括高層體系結構可信性，所述高層體系結構可信性包括屬性更新延時性能、交互實例發送性能和交互實例接收性能；

17、所述模型可信性因素包括仿真模型可信性、仿真數據可信性和仿真算法可信性，所述仿真模型可信性包括概念模型可信性、數學模型可信性和軟件模型可信性，所述仿真數據可信性包括求解精度、求解速度和計算方法，所述仿真算法可信性包括數據源質量、元數據準確性、實驗數據準確性和數據完整性；

18、所述仿真過程可信性因素包括仿真方案設計可信性、仿真邊界條件設置可信性、仿真決策規則可信性、仿真實施過程可信性、仿真系統控制性能和仿真系統數據記錄性能；

19、所述仿真結果可信性因素包括知識庫可信性、分析規則庫可信性、推理機制可信性、可視化單元可信性、演練回放性能、分析統計性能和數據質量管理性能；

20、所述設置所述置信度評估指標體系中的各層指標的指標權重進一步包括：

21、所述仿真實驗的仿真可信性得分為：c=λaca+λmcm+λpcp+λrcr，其中，c為仿真可信性得分，ca為仿真系統可信性因素，λa為仿真系統可信性因素的權重，cm為模型可信性因素，λm為模型可信性因素的權重，cp為仿真過程可信性因素，λp為仿真過程可信性因素的權重，cr為仿真結果可信性因素，λr為仿真結果可信性因素的權重；

22、仿真系統可信性因素為：，其中，?ca1為高層體系結構可信性，λa1為高層體系結構可信性的權重，，為ca1的第i個三級指標，為對應的第i個三級指標的權重；

23、模型可信性因素為：，其中，?cmi為cm的第i個二級指標，為對應的二級指標的權重，cm1i為cm1的第i個三級指標，為對應的第i個三級指標的權重，cm2i為cm2的第i個三級指標，為對應的第i個三級指標的權重，cm3i為cm3的第i個三級指標，為對應的第i個三級指標的權重；

24、仿真過程可信性因素為：，其中，?cpi為cp的第i個二級指標，為對應的第i個二級指標的權重；

25、仿真結果可信性因素為：，其中，?cri為cr的第i個二級指標，為對應的第i個二級指標的權重。

26、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，所述根據所述仿真結果影響因素生成所述仿真實驗的多組輸入數據，并根據預設置的數據質量檢測標準分別對各組輸入數據進行檢測并生成檢測結果進一步包括：

27、根據所述仿真結果影響因素確定所述仿真實驗涉及的模型輸入變量、場景參數和仿真系統參數，并分別獲取所述模型輸入變量、場景參數和仿真系統參數的取值范圍；

28、根據所述模型輸入變量、場景參數和仿真系統參數的取值范圍生成所述仿真實驗的多組輸入數據；

29、確定所述多組輸入數據中待檢測數據質量的數據內容、以及數據質量檢測維度和數據質量問題類別；

30、根據預設置的數據質量檢測標準分別對各組輸入數據進行檢測并生成檢測結果，判斷所述檢測結果是否滿足檢測閾值，若不滿足所述檢測閾值則跳轉至所述根據所述模型輸入變量、場景參數和仿真系統參數的取值范圍生成所述仿真實驗的多組輸入數據。

31、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，所述根據預設置的數據質量檢測標準分別對各組輸入數據進行檢測并生成檢測結果進一步包括：

32、基于所述數據質量檢測維度和數據質量問題類別確定數據質量問題判定標準、檢測方法和檢測流程形成所述數據質量檢測標準；

33、根據所述數據質量檢測標準對所述輸入數據的數據內容進行檢測并生成檢測結果。

34、例如，在本技術一些實施例提供的仿真系統可信性評估方法中，所述使用檢測結果滿足檢測閾值的輸入數據進行所述仿真實驗并獲取評估數據，使用所述置信度評估指標體系對所述評估數據進行評估并生成所述仿真實驗的置信度評估結果進一步包括：

35、根據所述置信度評估指標體系對所述評估數據進行逐級聚合計算以獲取所述仿真實驗的可信度得分作為所述置信度評估結果。

36、本發明第二個實施例提供一種基于數據質量的仿真系統可信性評估系統，包括信息采集和分析模塊，置信度評估指標體系構建模塊，輸入數據生成模塊，以及仿真實驗檢測和置信度評估模塊，其中，

37、所述信息采集和分析模塊，用于采集仿真系統中仿真實驗的原始信息、分析所述原始信息并獲取仿真實驗的影響因素，所述原始信息包括所述仿真實驗的仿真目標文檔、仿真場景配置文檔、數字模型文檔和仿真子系統文檔，所述影響因素包括可信性影響因素和仿真結果影響因素；

38、所述置信度評估指標體系構建模塊，用于根據所述可信性影響因素構建所述仿真實驗的置信度評估指標體系，并設置所述置信度評估指標體系的各層指標的指標權重；

39、所述輸入數據生成模塊，用于根據所述仿真結果影響因素生成所述仿真實驗的多組輸入數據，并根據預設置的數據質量檢測標準分別對各組輸入數據進行檢測并生成檢測結果；

40、所述仿真實驗檢測和置信度評估模塊，用于使用檢測結果滿足檢測閾值的輸入數據進行所述仿真實驗并獲取評估數據，使用所述置信度評估指標體系對所述評估數據進行評估并生成所述仿真實驗的置信度評估結果。

41、本發明第三個實施例提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如第一個實施例所述的方法。

42、本發明第四個實施例提供一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如第一個實施例所述的方法。

43、本發明的有益效果如下：

44、本發明針對目前現有的問題，制定一種基于數據質量的仿真系統可信性評估方法和系統，通過對仿真實驗的原始信息的采集和分析獲取影響因素，根據可信性影響因素建立置信度評估指標體系，根據仿真結果影響因素生成仿真實驗的輸入數據并進行數據質量檢測，使用數據質量滿足要求的數據進行仿真實驗并獲取評估數據，使用建立的置信度評估指標體系對評估數據進行評估并獲取置信度評估結果，有效提高復雜仿真系統的可信性評估的準確性，從而彌補了現有技術中存在的問題，具有廣泛的應用前景。