本發明屬于計算機領域，具體涉及一種航空飛行數據分析系統，尤其涉及一種面向航空電子數據的分布式挖掘系統；此外，本發明還涉及該面向航空電子數據的分布式挖掘系統的實現方法。
背景技術：
：航空飛行運行是一項龐大的綜合系統。在飛行的全過程中，在各部門各崗位間，都有大量的、種類繁多的數據需要傳遞，比如機組信息、氣象狀況、航行信息、航線風險系數評估、艙單信息、起飛數據、特情預案等數據。由于受到技術和管理模式的限制，傳統的數據傳遞方式是通過電話、發放紙質文檔、手冊等。這些傳統的保障方式存在諸多缺點，甚至成為限制民航業繼續發展的瓶頸。航空數據對每一次航班的安全起飛和經濟效益有著極其重要的影響。而航空數據的特點是多源、復雜、大規模，現有的單一平臺的數據分析系統的應用有限，因此針對這些多源的大規模飛行數據，亟需研發一種面向航空電子數據的數據分析系統。現有的數據分類算法對比見下表1：表1體系化對抗環境中，實時感知數據源的數據是一個關鍵性的問題，這些數據源通常來自多種傳感器，高效的管理數據源產生的異構的數據成為這個問題的一個難點。本發明針對這些問題，對現有的分布式框架和相關的數據分析方法進行了一定的研究，嘗試找出處理和分析多源的大規模飛行數據的有效方法。技術實現要素：本發明要解決的技術問題在于提供一種面向航空電子數據的分布式挖掘系統，該系統在數據實時性的基礎上，支持歷史數據的關聯模型建立，利用實時的數據和關聯模型完成實時預測，對飛行員的決策提供一定的指導。具體來說，該系統需要實現以下功能：飛行數據實時共享、飛行數據關聯分析和實時輔助決策。為此，本發明還提供該面向航空電子數據的分布式挖掘系統的實現方法。為解決上述技術問題，本發明提供一種面向航空電子數據的分布式挖掘系統，包括數據關聯分析模塊、數據關聯分析應用模塊和數據存儲模塊；數據關聯分析模塊從數據源中獲取訓練數據，完成數據關聯模型建立，將模型提供給數據關聯分析應用模塊使用，數據關聯分析應用模塊完成實時預測并將結果顯示在屏幕上，數據關聯分析應用模塊利用數據存儲模塊實現的云存儲功能完成實時存儲的功能。作為本發明優選的技術方案，所述數據存儲模塊包括讀取文件路徑單元和演示控制單元；所述讀取文件路徑單元用于讀取用戶選擇的數據源文件存放路徑；所述演示控制單元用于演示數據的存儲情況，它周期性地讀取存儲記錄并顯示到面板上；所述數據存儲模塊采用hadoop分布式存儲平臺及hbase分布式數據庫，從多架飛機實時獲取數據，然后通過云存儲方式再存儲到多架飛機上，并實時獲取并共享多架飛機的數據。作為本發明優選的技術方案，所述數據關聯分析模塊包括訓練數據路徑單元、訓練參數選擇單元和數據分割方式選擇單元；所述訓練數據路徑單元用于讀取用戶選擇的訓練數據存放路徑，所述訓練參數選擇單元用于讀取用戶選擇的各個訓練參數值，所述數據分割方式選擇單元用于讀取用戶選擇的數據分割方式，所述數據關聯分析模塊根據上述單元讀取的內容來進行模型的建立和訓練。作為本發明優選的技術方案，所述數據關聯分析模塊采用svm分類器，對應代碼的svm包，通過svm的方法，對已有的數據和分析結果進行分類，其核心模塊是數據拆分程序和調用的libsvm分類器包，拆分程序將數據源結果為0的記錄拆分成n份，n由用戶輸入，分別和結果為1的記錄組成n個訓練數據集，用libsvm訓練后輸出n個模型，預測時使用n個模型結果進行預測結果進行與/或操作輸出預測結果；所述數據關聯分析模塊中數據關聯模型建立通過用戶指定輸入參數完成。作為本發明優選的技術方案，所述svm分類器為使用rbf核的非線性svm分類器；所述svm分類器為二分割分類器。作為本發明優選的技術方案，所述數據關聯分析應用模塊包括模型路徑選擇單元、讀取文件路徑單元和演示控制單元；所述模型路徑選擇單元用于讀取用戶選擇的訓練模型存放路徑，所述讀取文件路徑單元用于讀取用戶選擇的數據源文件存放路徑，所述演示控制單元利用讀取的模型對數據進行分析，將預測結果顯示到面板上。此外，本發明還提供一種上述系統的實現方法，包括數據存儲模塊的數據存儲實現、數據關聯分析模塊的建立數據關聯模型實現和數據關聯分析應用模塊的實時預測結果顯示實現。作為本發明優選的技術方案，所述數據存儲模塊的數據存儲實現包括如下步驟：1)初始化hbase連接；2)創建表、列簇；3)本機數據導入內存；4)開始演示；5)實時數據上傳hbase，同時實時從hbase獲取所有節點數據；6)判斷是否終止演示，是則結束，否則回到步驟4)。作為本發明優選的技術方案，所述數據關聯分析模塊的建立數據關聯模型實現包括如下步驟：1)讀取數據、取出各屬性值的上下界；2)再次掃描數據，用上下界縮放數據后調用read_prob函數產生svm_problem；3)svm_problem進行交叉驗證，得到訓練準確率；4)基于svm_problem調用svm_train函數，生成模型并存儲；5)結束。作為本發明優選的技術方案，所述數據關聯分析應用模塊的實時預測結果顯示實現包括如下步驟：1)初始化hbase連接；2)創建表、列簇；3)本機數據導入內存；4)開始演示；5)實時數據上傳hbase，同時實時從hbase獲取所有節點數據再使用svm算法實時預測結果；6)判斷是否終止演示，是則結束，否則回到步驟4)。根據以上提供的技術方案，與現有技術相比，本發明提供的面向航空電子數據的分布式挖掘系統，具有以下有益效果：1、本發明將hadoop分布式存儲平臺及hbase分布式數據庫優化后應用到航空電子大數據系統，是本領域的首創，本發明對大規模的航電數據進行分布式存儲，能夠實時地存儲和共享數據，并利用歷史數據的分析，對實時數據進行火力打擊的預測，從而成功地為飛行員提供有效的決策指導，預測成功率高達94％。2、本發明用機器學習中的分類算法來解決飛行中火力打擊的結果預測問題，相比于以前直接用軟件模擬飛行過程來得到結果，該方法在保證一定準確率的前提下速度要快好多倍，因此提高了體系化對抗系統的決策效率。由于打擊中擊中的情況要遠遠低于擊不中，造成訓練數據不平衡，影響決策準確度。因此，本發明在svm的基礎上，創新地使用數據分割的方法，來提高準確度。將決策輔助功能集成到航電系統中，即可以利用存儲的數據進行訓練分類器，又能用訓練好的分類器進行實時的火力打擊預測，并根據預測結果為飛行器實時地提供決策建議。3、經試驗驗證，本發明系統優選使用rbf核的非線性svm分類器準確率最高，而優選使用二分割分類器的f1值最高。4、經試驗驗證，本發明系統支持靜態減少節點以及動態增加節點。附圖說明下面結合附圖和實施例對本發明進一步說明。圖1是本發明面向航空電子數據的分布式挖掘系統的總體框架圖。圖2是本發明面向航空電子數據的分布式挖掘系統的模塊單元結構圖。圖3是本發明系統中數據存儲模塊邏輯流程圖。圖4是本發明系統中數據關聯分析模塊邏輯流程圖。圖5是本發明系統中數據關聯分析應用模塊的示例圖。圖6是本發明系統中數據關聯分析應用模塊邏輯流程圖。圖7是本發明系統中數據關聯分析模塊中非線性svm的示例圖。圖8和圖9是本發明系統中數據關聯分析模塊中數據分割的示例圖。具體實施方式現在結合附圖對本發明作進一步詳細的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發明的基本結構，因此其僅顯示與本發明有關的構成。如圖1所示，本發明面向航空電子數據的分布式挖掘系統系統整體分為3個模塊，數據存儲模塊，數據關聯分析模塊和數據關聯分析應用模塊。數據關聯分析模塊從數據源中獲取訓練數據，可以通過用戶指定輸入參數，完成數據關聯模型建立，將模型提供給數據關聯分析應用模塊使用，數據關聯分析應用模塊完成實時預測并將結果顯示在屏幕上，數據關聯分析應用模塊利用數據存儲模塊實現的云存儲功能完成實時存儲的功能。由于系統是在分布式平臺基礎上開發的，搭建系統時首先需要在多臺設備(開發系統時使用6臺)上搭建hadoop和hbase完全分布式環境。每臺設備相當于一個飛行節點，其中有一臺作為主節點，來進行調度和顯示等操作。1.數據存儲模塊(1)分布式存儲平臺為完成數據可靠性存儲過程，參考技術方案中的設計，借助已有的分布式云平臺，基于hdfs實現數據存儲功能。在六臺專用測試設備上部署hdfs的服務端，待所有節點模擬飛行員就位(設備開機)后，在任一節點啟動hdfs的start-all.sh命令，六臺測試設備組建成統一的數據共享平臺，分別監聽相應功能的端口。數據存儲或查詢請求達到時，使用對應端口傳輸數據。平臺的數據可靠性和容錯性借助hdfs的冗余備份功能完成。(2)分布式數據庫在已有的hdfs穩定存儲的基礎上，項目為規范化管理所有數據，基于hbase實現了一個分布式數據庫，使用hadoop的hdfs來完成可靠存儲，使用hadoop的mapreduce框架來加速系統數據查詢操作。hbase的表格設計如下：實際存儲時，每個數據包對應一個rowkey，每個rowkey只包含一個數據塊的信息，hbase利用列存的方式保證系統數據的可靠性。(3)運行流程該模塊運行過程包括數據存儲和數據顯示兩個步驟。數據存儲：隔40ms吐出一次數據，將數據存儲到hbase中，因樣本數據量較小，讀取完成之后從第一個數據開始再次吐出。數據顯示：另開線程完成文件的讀取過程，每隔10ms從hbase環境中實時查詢從上次時間戳查詢到現在時間戳時間內所有的記錄，從記錄中讀取最后一條記錄，實時顯示在屏幕上。如圖2所示，數據存儲模塊包括讀取文件路徑單元和演示控制單元，用于數據存儲演示。讀取文件路徑單元用于讀取用戶選擇的數據源文件存放路徑，演示控制單元用于演示數據的存儲情況，它周期性地讀取存儲記錄并顯示到面板上。如圖3所示，數據存儲模塊邏輯流程包括如下步驟：1)初始化hbase連接；2)創建表、列簇；3)本機數據導入內存；4)開始演示；5)實時數據上傳hbase，同時實時從hbase獲取所有節點數據；6)判斷是否終止演示，是則結束，否則回到步驟4)。2.數據關聯分析模塊由于航電的訓練數據具有低維度(7維)，大容量(420w條記錄)和不平衡性(0和1比例為15:1)的特點，我們綜合考慮以上算法，最終選擇使用支持向量機svm來完成數據分析過程中模型建立工作。這一部分主要使用的svm分類器，對應代碼的svm包，通過svm的方法，對已有的數據和分析結果進行分類，其核心模塊是數據拆分程序和調用的libsvm分類器包，拆分程序將數據源結果為0的記錄拆分成n份(n由用戶輸入)，分別和結果為1的記錄組成n個訓練數據集，用libsvm訓練后輸出n個模型，預測時使用n個模型結果進行預測結果進行與/或操作輸出預測結果。運行過程主要包括以下三個步驟。數據歸一化：掃描數據集，取出上下界，完成數據的歸一化操作，保證每個變量對結果的作用平衡。數據分割：因為數據的特殊性，結果為0的記錄數量遠多于結果為1，所以本發明采取技術方案中的劃分策略，將結果為1的數據劃分成n份，分別與0組合之后形成n個數據源，這一部分在read_prob函數中實現。數據訓練：調用libsvm軟件包中的各個函數(包括svm_scale、svm_train等)，對各svm_problem訓練，生成svm_model并dump(轉存)到硬盤上。如圖2所示，數據關聯分析模塊包括訓練數據路徑單元、訓練參數選擇單元、數據分割方式選擇單元，用于建立模型、進行模型訓練。訓練數據路徑單元用于讀取用戶選擇的訓練數據存放路徑，訓練參數選擇單元用于讀取用戶選擇的各個訓練參數值，數據分割方式選擇單元用于讀取用戶選擇的數據分割方式，數據關聯分析模塊根據這些單元讀取的內容來進行模型的建立和訓練。如圖4所示，數據關聯分析模塊邏輯流程包括如下步驟：1)讀取數據、取出各屬性值的上下界，包括經度、緯度、高度、橫滾角、直航角、俯仰角和速度7個屬性；2)再次掃描數據，用上下界scale數據(縮放數據，以提高訓練和預測時數據的處理速度)后調用read_prob函數產生svm_problem；3)svm_problem進行crossvalidation(交叉驗證)，得到訓練準確率；4)基于svm_problem調用svm_train函數，生成模型并存儲；5)結束。3.數據關聯分析應用模塊應用模塊的整體設計原則是利用數據存儲模塊完成存儲，利用數據關聯分析模塊輸出的最優模型作為輸入模型，對任一數據實時預測，如圖5所示。其中，多分模型的數據預測遵循如下規則：2分：或模型：n1|n2與模型：n1&n24分：先與后或：(n1&n2)|(n3&n4)先或后與：(n1|n2)&(n3|n4)8分：先與后或：(n1&n2&n3&n4)|(n5&n6&n7&n8)先或后與：(n1|n2|n3|n4)&(n5|n6|n7|n8)運行過程主要包括以下三個步驟。初始化：初始化hbase的連接，完成表的創建，列簇的創建等操作，從硬盤讀取需要存儲的文件內容。數據產生：每隔40ms吐出一次數據，將數據存儲到hbase中，因樣本數據量較小，讀取完成之后從第一個數據開始再次吐出。數據顯示：另開線程完成文件的讀取過程，每隔10ms從hbase環境中實時查詢從上次時間戳查詢到現在時間戳時間內所有的記錄，從記錄中讀取最后一條記錄，用這個數據調用svm完成實時預測，并將結果顯示在屏幕上。如圖2所示，數據關聯分析應用模塊包括模型路徑選擇單元、讀取文件路徑單元、演示控制單元，用于數據分析演示。模型路徑選擇單元用于讀取用戶選擇的訓練模型存放路徑，讀取文件路徑單元用于讀取用戶選擇的數據源文件存放路徑，演示控制單元利用讀取的模型對數據進行分析，將預測結果顯示到面板上。如圖6所示，數據關聯分析應用模塊邏輯流程包括如下步驟：1)初始化hbase連接；2)創建表、列簇；3)本機數據導入內存；4)開始演示；5)實時數據上傳hbase，同時實時從hbase獲取所有節點數據再使用svm算法實時預測結果；6)判斷是否終止演示，是則結束，否則回到步驟4)。在體系化對抗決策體系中，歷史數據信息是十分寶貴的資源，對歷史信息的分析和提煉可以完成許多功能，比如說歷史火力打擊信息可以用來輔助決策。通過對一組歷史飛行過程及火力打擊的結果分析，我們可以獲取一個飛行狀態的分類器模型，利用這個模型可以預測節點火力打擊結果。把預測模型引入“資源云”平臺上之后，我們可以根據每個節點的火力打擊預測結果，完成一些輔助決策功能，提高體系化對抗系統的決策效率。針對已有的飛行狀態信息數據集和打擊結果，可以近似的把問題看做一個輸入是飛機發射導彈時的航電信息和目標的絕對位置信息，輸出是擊中和沒擊中目標的二分類分類器模型，分析比較常用的二分類分類器，得出一個結果最優的分類器模型應用到決策系統中。(1)分類器算法由于要解決的是一個二分類問題，標號為0和1。那么分類器就是要找到一個面，將所有樣本點分到面的兩側。即，對于任一樣本x＝(b1，b2，…bm)，分類器決策函數f:f(x)＝g(f(x))a.線性可分svm線性可分svm分類器決策函數中的f(x)＝wtx+b，它本質上是尋找一個能將樣本點按標號分到兩側的具有最大化margin的超平面，margin是所有數據點到超平面的幾何間隔的最小值。從統計的角度講，由于正負樣本可以看作從兩個不同的分布隨機抽樣得到，若分類邊界與兩個分布的距離越大，抽樣出的樣本落在分類邊界另一邊的概率越小。所以，最大化margin可以保證最壞情況下的泛化誤差最小，分類器確信度更高。分類器決策函數中的f(x)＝wtx+b，那么它的超平面為wtx+b＝0.給定訓練集合t，超平面wtx+b＝0，定義樣本點(xi，yi)到超平面的函數間隔為：幾何間隔為：設n為樣本點數目，定義t中所有樣本點的函數間隔的最小值為：超平面的margin為t中所有樣本點的幾何間隔的最小值：最大化margin可表示為：變化得：可以看出，w、b等比例縮放對超平面和幾何間隔都沒有影響，而函數間隔會同比例縮放。所以，令代入上式，而最大化等價于最小化這樣就得到了線性可分svm的最優化問題：這是一個凸二次規劃問題，應用拉格朗日對偶性，通過求解對偶問題可得到最優解，求解的過程就不贅述了。b.非線性svm對于非線性的分類問題，決策面是一個曲面，曲面通過一定映射，會變成高維空間中的一個超平面，這樣就可以用線性可分svm中的方法來解決。例如，兩類數據分布為兩個圓圈的形狀(如圖7所示)，這樣的數據本身是線性不可分的，理想的分界面應該是一個圓而不是一條線(超平面)。若用x1和x1表示這個二維平面的坐標，那么它的決策面可寫成這樣的形式：a0+a1x1+a2x2+a3x12+a4x22+a5x1x2＝0如果我們構造一個五維空間，坐標值分別為z1＝x1、z2＝x2、z3＝x12、z4＝x22、z5＝x1x2，那么上面的決策面方程在新的空間中可以寫作：可以看出，這正是一個超平面的方程。如果我們按這樣的方式將數據映射到五維空間，那么在新空間中原來的非線性數據就變成線性可分的了，從而可以使用線性svm算法處理。由于在線性可分svm的求解過程中，需要計算的地方數據向量總是以內積的形式出現，所以，我們定義計算兩個向量在映射過后的空間中的內積的函數為核函數，用核函數來簡化映射空間中的內積運算。所以，對于非線性情況，處理方法是選擇一個核函數，通過它將數據映射到高維空間，變成高維空間中的一個線性可分問題，以此來解決在原始空間中線性不可分的問題，然后再用線性可分svm算法進行處理。svm常用的核函數有四種：線性核(等同于線性可分svm)、多項式核、rbf核、sigmoid核，具體形式如下表2。表2類型函數表達式線性核ut*v多項式核(g*ut*v+coef0)degreerbf核exp(-g*||u-v||2)sigmoid核tanh(g*ut*v+coef0)數據分割由于樣本數據集中兩類數據比例懸殊，造成不平衡問題。嘗試將訓練集中比例較高的那一類樣本分割成幾塊，每塊與另一類樣本分別組成一個子訓練集，對每個子訓練集進行訓練，得到子分類模型。將子分類模型通過一些運算可以組成新的分類器，對數據進行預測。這樣處理，可以一定程度上改善數據不平衡問題。例如，將label＝0的樣本分割成四塊，分別與label＝1的樣本組成四個子訓練集，對它們進行訓練得到四個子分類模型。每個子分類模型對輸入數據進行預測，得到四個output，可以對這四個output進行與運算，得到最終的output，這就相當于一個新的分類器，示意圖如圖8和圖9所示。以下通過具體實驗來驗證本發明的效果：1.分類器算法評測實驗(1)數據集用作實驗的原始飛行數據樣本共4497432個，其中擊中(label＝1)的有316768個，未擊中(label＝0)的有4180664個。將原始數據按照50％、25％、25％的比例均勻劃分為trainset、validationset、testset三個集合。其中，trainset用來訓練分類器；validationset用來測試不同分類器的性能，確定分類模型的網絡結構或者控制模型復雜程度的參數；testset用來檢驗最終選擇的最優分類模型的性能。(2)實驗結果對不同分類器算法進行測試實驗，評估實驗結果，選取最佳的分類器模型，用testset進行驗證。a.線性可分svm用liblinear實現線性可分svm，進行測試，結果如下表3：表3accuracyprecisionrecallf192.9669％000由于數據集中label＝1的數目遠遠低于label＝0的實例數目(比例約為1:13)，因此線性svm會全部預測0，但是顯然這樣是毫無意義的。b.非線性svm用libsvm實現不同類型的非線性svm，進行測試，結果如下表4：表4核函數accuracyprecisionrecallf1線性核92.9669％000多項式核92.9669％000rbf核94.3549％0.5990.5960.597sigmod核85.9684％000可以看出選用rbf核函數的結果最好，準確率達到了94.4％，1的預測率也超過了50％。c.數據分割子訓練集用前面提到的libsvm的rbf核類型進行訓練，因為它的效果最好。i.二分割將label＝0的訓練數據隨機分割成兩塊，與label為1的數據組成兩個子訓練集，訓練得到兩個model，分別對validationset進行預測，得到兩個output，按與和或兩種關系處理output得到最終分類結果。測試結果如下表5：表5accuracyprecisionrecallf1與94.1015％0.5560.8060.658或94.0866％0.5540.8110.659ii.四分割將label＝0的訓練數據隨機分割成四塊，與label為1的數據組成四個子訓練集，訓練得到四個model，分別對validationset進行預測，得到四個output，按全與、全或、先與后或、先或后與四種關系處理output得到最終分類結果。測試結果如下表6：表6accuracyprecisionrecallf1全與93.1026％0.5050.9260.654全或93.0137％0.5020.9310.652先與后或93.0717％0.5040.9280.653先或后與93.0503％0.5030.9290.653iii.八分割將label＝0的訓練數據隨機分割成八塊，與label為1的數據組成八個子訓練集，訓練得到八個model，分別對validationset進行預測，得到八個output，按全與、全或、先與后或、先或后與四種關系處理output得到最終分類結果。測試結果如下表7：表7iv.三分之二分割將label＝0的訓練數據隨機分割成三塊，每兩塊與label為1的數據組成三個子訓練集，訓練得到三個model，分別對validationset進行預測，得到三個output，按與和或兩種關系處理output得到最終分類結果。測試結果如下表8：表8accuracyprecisionrecallf1與94.3033％0.5750.7290.643或94.2959％0.5740.7340.644d.驗證實驗根據以上測試，可以看出，單純使用rbf核的非線性svm分類器準確率最高，而二分割分類器的f1值最高。用testset對這兩種最優分類模型進行驗證實驗，結果如下表9：表9分類器accuracyprecisionrecallf1rbf核svm94.3391％0.5990.5950.597二分割-與94.0945％0.5550.8070.658二分割-或94.0772％0.5540.8120.659驗證得到，這兩種分類器性能與前面的測試結果基本一致，確實最優。2.本發明面向航空電子數據的分布式挖掘系統系統系統測試a.數據存儲模塊測試運行軟件系統，進入數據采集模塊，然后開始演示。觀察dashboard面板上的數據，隨著程序運行，面板能實時顯示集群中各節點的狀態信息，且可以看出飛行數據正被存儲，證明該模塊能夠實時存儲各個節點的數據。b.數據關聯分析模塊測試運行軟件系統，進入數據關聯分析模塊，分別采用不同的核函數選擇參數和分割參數，對輸入數據集進行訓練，均能成功地得到分類模型，證明該模塊能夠用不同方法進行數據分析。c.數據關聯分析應用模塊測試運行軟件系統，進入數據關聯分析應用模塊，選取參數，然后開始演示。界面能實時顯示所有節點的飛行數據和預測火力打擊結果，證明該模塊能夠對飛行數據進行實時存儲和預測。d.系統節點靜態減少測試按照相應的方法，將系統節點由6個靜態減少到4個，檢查集群中hadoop和hbase的節點數，均變成了4，說明系統支持靜態減少節點。e.系統節點動態增加測試按照相應的方法，將系統節點由前一測試中的4個動態增加到6個，并在新增加的節點上運行系統軟件。檢查系統數據存儲功能界面上節點信息的變化，由原來的4成功變成了6，說明系統支持動態增加節點。以上述依據本發明的理想實施例為啟示，通過上述的說明內容，相關工作人員完全可以在不偏離本項發明技術思想的范圍內，進行多樣的變更以及修改。本項發明的技術性范圍并不局限于說明書上的內容，必須要根據權利要求范圍來確定其技術性范圍。當前第1頁12