本發(fā)明涉及航運數(shù)據(jù)處理,特別涉及一種超大型油船航線智能分析系統(tǒng)及方法。
背景技術(shù):
1、船舶自動識別系統(tǒng)ais系統(tǒng)提供的數(shù)據(jù)內(nèi)容包含船舶靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)和航程數(shù)據(jù)。其中,靜態(tài)數(shù)據(jù)包括:船舶呼號、船舶船名、船長和船寬、船型、船上固定天線的位置(船首后和中心線的左右舷)、ais標識碼等。動態(tài)數(shù)據(jù)包括:具有精度顯示和完整狀態(tài)的船位、世界標準時間、對地航向、對地航速、航向、航行狀態(tài)、轉(zhuǎn)向率(如有)等等。航行數(shù)據(jù)包括:船舶狀態(tài)、船舶吃水、船舶所裝貨物種類、船舶危險貨物類型、船舶所要到達的目的港、船舶預計抵達目的港時間、船舶選用的航線計劃(航途基準點)。ais數(shù)據(jù)分析海上船舶行為已成為航運領(lǐng)域的新發(fā)展方向,但現(xiàn)實獲取的ais數(shù)據(jù)冗余、復雜且包含大量的噪聲,嚴重阻礙了研究人員對油船信息的高效檢索,也無法滿足對油船復雜行為分析的業(yè)務(wù)需求。此外,由于缺乏有效的長距離航線生成方法,使得對完整航線的預測變得尤為困難。因此,亟需一種數(shù)據(jù)挖掘手段,以及時有效地分析海上船舶行為。
技術(shù)實現(xiàn)思路
1、為此,本發(fā)明提供一種超大型油船航線智能分析系統(tǒng)及方法,解決現(xiàn)有利用ais數(shù)據(jù)分析船舶行為存在的噪聲大、復雜度高、完整航線預測困難等問題。
2、按照本發(fā)明所提供的設(shè)計方案,一方面,提供一種超大型油船航線智能分析系統(tǒng),包含:船舶信息查詢模塊和航線分析處理模塊,其中,
3、船舶信息查詢模塊,用于利用數(shù)據(jù)庫對船舶信息數(shù)據(jù)進行存儲對齊,并基于數(shù)據(jù)庫中的船舶信息關(guān)鍵表來實現(xiàn)船舶信息查詢功能,所述船舶信息關(guān)鍵表包括靜態(tài)數(shù)據(jù)精煉數(shù)據(jù)表、歷史船舶信息數(shù)據(jù)表和爬蟲數(shù)據(jù)表,所述靜態(tài)數(shù)據(jù)精煉數(shù)據(jù)表用于對數(shù)據(jù)精煉后的ais系統(tǒng)靜態(tài)數(shù)據(jù)進行存儲,所述歷史船舶信息數(shù)據(jù)表用于存儲歷史船舶信息,所述爬蟲數(shù)據(jù)表用于將依據(jù)爬蟲規(guī)則獲取的原始爬蟲船舶數(shù)據(jù)與歷史船舶信息數(shù)據(jù)表中的歷史船舶信息進行對齊存儲;
4、航線分析處理模塊,用于基于ais系統(tǒng)動態(tài)數(shù)據(jù)對航線數(shù)據(jù)進行異常處理和航線抽取并利用深度學習算法生成目標航線,所述深度學習算法采用transformer模型進行航線預測生成。
5、作為本發(fā)明超大型油船航線智能分析系統(tǒng),進一步地,所述船舶信息查詢模塊包括:靜態(tài)信息管理單元和靜態(tài)信息查詢單元,其中,
6、靜態(tài)信息管理單元,用于接收導入的ais系統(tǒng)靜態(tài)數(shù)據(jù),利用數(shù)據(jù)精煉方法獲取ais系統(tǒng)靜態(tài)數(shù)據(jù)中的船舶信息數(shù)據(jù)并對齊存儲至數(shù)據(jù)庫中,所述數(shù)據(jù)精良方法用于剔除ais系統(tǒng)靜態(tài)數(shù)據(jù)中冗余數(shù)據(jù);
7、靜態(tài)信息查詢單元,用于將輸入的待查詢船舶數(shù)據(jù)與數(shù)據(jù)庫中存儲的船舶信息數(shù)據(jù)進行匹配,依據(jù)匹配結(jié)果獲取待查詢船舶信息。
8、作為本發(fā)明超大型油船航線智能分析系統(tǒng),進一步地,所述航線分析處理模塊包括:航線處理單元、航線抽取單元、模型訓練單元和航線生成單元,其中,
9、航線處理單元,用于接收導入的ais系統(tǒng)動態(tài)數(shù)據(jù),并對動態(tài)數(shù)據(jù)進行預處理,所述預處理至少包括:數(shù)據(jù)去重處理、數(shù)據(jù)異常值處理和數(shù)據(jù)過濾處理,其中,數(shù)據(jù)異常值包括航跡數(shù)據(jù)屬性異常值和空間異常值;
10、航線抽取單元,用于基于區(qū)域geom數(shù)據(jù)表抽取指定起始點之間的航線數(shù)據(jù),所述geom數(shù)據(jù)表用于基于預處理的動態(tài)數(shù)據(jù)存儲地理區(qū)域中的地圖元素;
11、模型訓練單元,用于依據(jù)指定經(jīng)緯度參數(shù)識別航線中斷數(shù)據(jù)并構(gòu)建模型訓練數(shù)據(jù)集,利用訓練數(shù)據(jù)集對航線識別模型進行訓練;
12、航線生成單元,用于將待預測航線數(shù)據(jù)輸入至訓練后的航線識別模型,利用航線識別模型生成對應航線,所述待預測航線數(shù)據(jù)包括航線起始點參數(shù)及航線起始點之間的航線點數(shù)參數(shù)。
13、又一方面,本發(fā)明還提供一種超大型油船信息查詢方法,基于上述的系統(tǒng)實現(xiàn),實現(xiàn)過程包含:
14、接收用戶待查詢船舶關(guān)鍵字,所述待查詢船舶關(guān)鍵字為船舶imo號、mmsi號和船舶名稱中的任一項;
15、將待查詢船舶關(guān)鍵字與歷史船舶信息數(shù)據(jù)表中存儲的歷史船舶信息進行相似度匹配,得到與待查詢船舶關(guān)鍵字最相似的船舶信息并推薦給用戶。
16、作為本發(fā)明超大型油船信息查詢方法,進一步地,還包含:抽取歷史船舶信息數(shù)據(jù)表中船舶類別字段,并生成類別字典數(shù)據(jù)表,以將用戶收集的船舶數(shù)據(jù)集中船舶類別與類別字典數(shù)據(jù)表進行匹配并存儲對齊。
17、作為本發(fā)明超大型油船信息查詢方法,進一步地,若待查詢船舶關(guān)鍵字為數(shù)字,則依據(jù)數(shù)字位數(shù)識別該數(shù)字為船舶imo號或mmsi號,以依據(jù)船舶imo號或mmsi號在歷史船舶信息數(shù)據(jù)表中匹配最相似船舶信息。
18、又一方面,本發(fā)明還提供一種起始點航線抽取方法,基于上述的系統(tǒng)實現(xiàn),實現(xiàn)過程包含:
19、對ais系統(tǒng)動態(tài)數(shù)據(jù)進行數(shù)據(jù)預處理,并將數(shù)據(jù)預處理后的各航線在地圖上進行可視化展示,所述數(shù)據(jù)預處理包括異常值處理和航跡數(shù)據(jù)過濾;
20、依據(jù)用戶指定的起始點及航跡最大持續(xù)時間,從數(shù)據(jù)預處理后的航線數(shù)據(jù)中抽取起始點之間對應航線。
21、作為本發(fā)明起始點航線抽取方法,進一步地,數(shù)據(jù)預處理過程包含:
22、依據(jù)指定航線屬性和指定經(jīng)緯度閾值分別對動態(tài)數(shù)據(jù)進行屬性異常值過濾和空間異常值過濾;
23、并依據(jù)航線中設(shè)置的最小航跡點數(shù)和指定經(jīng)緯度閾值剔除動態(tài)數(shù)據(jù)中異常航線,所述異常航線包括:徘徊航線及長度小于閾值的過短航線。
24、再一方面,本發(fā)明還提供一種基于transformer模型的超大型油船航線預測方法,基于上述的系統(tǒng)實現(xiàn),實現(xiàn)過程包括:
25、將用戶輸入的起始點及航線點數(shù)作為模型輸入數(shù)據(jù),利用已訓練的航線生成模型生成起始點之間對應航線點數(shù)的航線;
26、其中,航線生成模型基于transformer模型構(gòu)建,并依據(jù)起始點之間經(jīng)緯度閾值構(gòu)建模型訓練數(shù)據(jù)集,以利用訓練數(shù)據(jù)集對航線生成模型進行訓練。
27、作為本發(fā)明基于transformer模型的超大型油船航線預測方法,進一步地,依據(jù)起始點之間經(jīng)緯度閾值構(gòu)建模型訓練數(shù)據(jù)集,包含:
28、設(shè)置經(jīng)緯度閾值參數(shù),并利用經(jīng)緯度閾值參數(shù)識別和判斷指定航線中斷部分;
29、利用指定航線中斷部分構(gòu)建相應的模型訓練用數(shù)據(jù)集。
30、本發(fā)明的有益效果:
31、本發(fā)明根據(jù)業(yè)務(wù)單位的實際需求,利用靜態(tài)信息處理策略在保留和擴展原有靜態(tài)信息的基礎(chǔ)上,提高航跡數(shù)據(jù)價值密度,壓縮數(shù)據(jù)存儲需求,提升業(yè)務(wù)人員在油船信息檢索時的效率和準確率;將深度學習技術(shù)應用于航線生成任務(wù),結(jié)合軌跡預測和航線生成,將預軌跡測進行擴展,并通過實驗驗證本案方案的有效性與可行性,取得了較為滿意的結(jié)果;利用航線智能分析系統(tǒng),對業(yè)務(wù)單位所需的功能進行模塊化設(shè)計與管理,結(jié)合友好的交互界面,實現(xiàn)數(shù)據(jù)可視化與智能算法的融合,促進人機協(xié)同分析,幫助用戶快速理解相關(guān)航線并做出決策,為業(yè)務(wù)單位提供便利。
1.一種超大型油船航線智能分析系統(tǒng),其特征在于,包含:船舶信息查詢模塊和航線分析處理模塊,其中,
2.根據(jù)權(quán)利要求1所述的超大型油船航線智能分析系統(tǒng),其特征在于,所述船舶信息查詢模塊包括:靜態(tài)信息管理單元和靜態(tài)信息查詢單元,其中,
3.根據(jù)權(quán)利要求1所述的超大型油船航線智能化分析系統(tǒng),其特征在于,所述航線分析處理模塊包括:航線處理單元、航線抽取單元、模型訓練單元和航線生成單元,其中,
4.一種超大型油船信息查詢方法,其特征在于,基于權(quán)利要求1所述的系統(tǒng)實現(xiàn),實現(xiàn)過程包含:
5.根據(jù)權(quán)利要求4所述的超大型油船信息查詢方法,其特征在于,還包含:抽取歷史船舶信息數(shù)據(jù)表中船舶類別字段,并生成類別字典數(shù)據(jù)表,以將用戶收集的船舶數(shù)據(jù)集中船舶類別與類別字典數(shù)據(jù)表進行匹配并存儲對齊。
6.根據(jù)權(quán)利要求4所述的超大型油船信息查詢方法,其特征在于,若待查詢船舶關(guān)鍵字為數(shù)字,則依據(jù)數(shù)字位數(shù)識別該數(shù)字為船舶imo號或mmsi號,以依據(jù)船舶imo號或mmsi號在歷史船舶信息數(shù)據(jù)表中匹配最相似船舶信息。
7.一種起始點航線抽取方法,其特征在于,基于權(quán)利要求1所述的系統(tǒng)實現(xiàn),實現(xiàn)過程包含:
8.根據(jù)權(quán)利要求7所述的起始點航線抽取方法,其特征在于,數(shù)據(jù)預處理過程包含:
9.一種基于transformer模型的超大型油船航線預測方法,其特征在于,基于權(quán)利要求1所述的系統(tǒng)實現(xiàn),實現(xiàn)過程包括:
10.根據(jù)權(quán)利要求9所述的基于transformer模型的超大型油船航線預測方法,其特征在于,依據(jù)起始點之間經(jīng)緯度閾值構(gòu)建模型訓練數(shù)據(jù)集,包含: