本發明涉及軌道交通數據處理，特別涉及一種面向軌道交通的分層數據處理方法及系統。

背景技術：

1、軌道交通通常是指運營車輛需要在特定軌道上行駛的運輸系統，屬于集多專業、多工種于一身的復雜系統，主要由軌道路線、車站、車輛、維護檢修基地、供變電、通信信號、指揮控制中心等組成。常見的軌道交通例如有傳統鐵路(普通鐵路、城際鐵路和市域鐵路)、地鐵、輕軌和有軌電車。

2、由于火車和鐵路技術的多元化發展，軌道交通呈現出越來越多的類型，以及軌道交通運輸系統本身的復雜性。軌道交通系統中產生了種類繁多、數量龐大的數據，也對數據的高效管理和處理提出了更高的要求。

3、然而，傳統的數據處理方案通常依賴專業的編程語言來實現數據邏輯處理，代碼編寫和調試的過程較為復雜，技術門檻較高，不利于快速迭代和功能擴展，開發和維護的成本較高。并且，軌道交通行業的數據處理流程較為復雜，在處理海量數據時，往往存在處理流程冗長、數據流轉不清晰等問題，難以滿足軌道交通行業對實時性和高效性的要求。

技術實現思路

1、本發明的目的是提供一種面向軌道交通的分層數據處理方法及系統，用于針對現有的數據處理方案過于依賴專業編程語言以及數據處理流程復雜冗長的問題。通過將數據處理邏輯的構建簡化為sql(structured?query?language)語句的組合，降低了技術門檻，且避免了復雜的代碼編寫過程，顯著提升了開發和維護效率，有利于降低成本。通過根據數據倉庫的分層理論設計數據處理流程，降低了復雜程度，實現了模塊化和層次化管理，提升了數據處理的效率。

2、為了實現以上目的，本發明通過以下技術方案實現：

3、本發明第一方面提供一種面向軌道交通的分層數據處理方法，包括：通過sql語句的組合構建數據處理邏輯；

4、基于數據倉庫的分層理論設計數據處理流程，并根據所述數據處理邏輯自動執行所述數據處理流程，所述數據處理流程包括：

5、從數據源獲取原始數據，并進行格式處理；

6、對格式處理后的所述原始數據進行數據質量檢查、數據清洗和數據轉換；

7、對清洗和轉換后的所述原始數據進行數據匯總和數據統計，生成中間數據表；

8、根據所述中間數據表進行數據提取和/或數據分析。

9、可選地，所述通過所述sql語句的組合構建所述數據處理邏輯包括：

10、根據業務需求，選擇預設的sql語法模板，并基于所述sql語法模板生成所述sql語句，以構建所述數據處理邏輯。

11、可選地，所述sql語法模板至少包括以下數據處理操作：數據清洗、數據匯總、數據統計和數據分析。

12、可選地，所述基于所述sql語法模板生成所述sql語句包括：

13、直接調用所述sql語法模板以生成所述sql語句；或者

14、基于所述sql語法模板進行調整以生成所述sql語句。

15、可選地，所述通過所述sql語句的組合構建所述數據處理邏輯包括：

16、在數據處理的過程中，根據業務需求，動態生成所述sql語句，以構建和調整所述數據處理邏輯。

17、可選地，根據業務需求，對所述數據處理流程的配置內容進行調整；

18、所述配置內容至少包括：數據源配置、數據處理邏輯配置、任務調度配置和多環境配置。

19、可選地，對所述數據源配置進行調整包括：添加、修改或刪除所述數據源；設置每個所述數據源的連接信息、數據格式和數據刷新頻率。

20、可選地，對所述任務調度配置進行調整包括：對數據處理任務進行定時調度、事件觸發調度和批量調度；根據業務需求，設置每個所述數據處理任務的執行頻率和優先級。

21、可選地，對所述多環境配置進行調整包括：

22、針對不同的部署環境，對需要修改的配置信息進行調整；

23、所述配置信息至少包括：數據庫連接地址、kafka連接地址和文件傳輸大小限制。

24、可選地，所述數據源至少包括：軌道設備數據、列車運行數據和客流數據。

25、本發明第二方面提供一種面向軌道交通的分層數據處理系統，包括：

26、邏輯生成模塊，所述邏輯生成模塊用于通過sql語句的組合構建數據處理邏輯；和

27、數據處理模塊，所述數據處理模塊用于基于數據倉庫的分層理論設計數據處理流程，并根據所述數據處理邏輯自動執行所述數據處理流程，所述數據處理模塊包括：

28、原始數據層，所述原始數據層用于從數據源獲取和存儲原始數據，并對所述原始數據進行格式處理；

29、明細數據層，所述明細數據層用于對格式處理后的所述原始數據進行數據質量檢查、數據清洗和數據轉換；

30、匯總數據層，所述匯總數據層用于對清洗和轉換后的所述原始數據進行數據匯總和數據統計，并生成中間數據表；和

31、分析數據層，所述分析數據層用于根據所述中間數據表進行數據提取和/或數據分析。

32、可選地，所述邏輯生成模塊內預設有sql語法模板；

33、所述邏輯生成模塊用于基于所述sql語法模板生成所述sql語句，以構建所述數據處理邏輯。

34、可選地，所述邏輯生成模塊用于在數據處理的過程中，動態生成所述sql語句，以構建和調整所述數據處理邏輯。

35、可選地，所述分層數據處理系統還包括配置管理模塊，所述配置管理模塊用于對所述數據處理流程的配置內容進行調整；

36、所述配置內容至少包括：數據源配置、數據處理邏輯配置、任務調度配置和多環境配置。

37、可選地，所述數據源至少包括：軌道設備數據、列車運行數據和客流數據。

38、本發明第三方面提供一種電子設備，包括處理器和存儲器，所述存儲器上存儲有計算機程序，所述計算機程序被所述處理器執行時，實現上述第一方面中任一項所述的方法。

39、本發明第四方面提供一種可讀存儲介質，所述可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時，實現上述第一方面中任一項所述的方法。

40、本發明至少具有以下技術效果：

41、通過引入sql構建數據處理邏輯，采用sql來替代代碼編寫的方式，將數據處理邏輯的構建簡化為sql語句的組合。不僅降低了數據處理的技術門檻，而且避免了復雜的代碼編寫過程，顯著提升了開發和維護效率。

42、通過將數據倉庫的分層理論應用到軌道交通行業的數據處理場景中，對軌道交通行業的數據處理流程進行分層架構。優化了軌道交通行業的復雜數據處理流程，實現了數據流的模塊化和層次化管理。

技術特征：

1.一種面向軌道交通的分層數據處理方法，其特征在于，包括：通過sql語句的組合構建數據處理邏輯；

2.根據權利要求1所述的面向軌道交通的分層數據處理方法，其特征在于，所述通過所述sql語句的組合構建所述數據處理邏輯包括：

3.根據權利要求2所述的面向軌道交通的分層數據處理方法，其特征在于，所述sql語法模板至少包括以下數據處理操作：數據清洗、數據匯總、數據統計和數據分析。

4.根據權利要求2所述的面向軌道交通的分層數據處理方法，其特征在于，所述基于所述sql語法模板生成所述sql語句包括：

5.根據權利要求1所述的面向軌道交通的分層數據處理方法，其特征在于，所述通過所述sql語句的組合構建所述數據處理邏輯包括：

6.根據權利要求1所述的面向軌道交通的分層數據處理方法，其特征在于，根據業務需求，對所述數據處理流程的配置內容進行調整；

7.根據權利要求6所述的面向軌道交通的分層數據處理方法，其特征在于，對所述數據源配置進行調整包括：

8.根據權利要求6所述的面向軌道交通的分層數據處理方法，其特征在于，對所述任務調度配置進行調整包括：

9.根據權利要求6所述的面向軌道交通的分層數據處理方法，其特征在于，對所述多環境配置進行調整包括：

10.根據權利要求1所述的面向軌道交通的分層數據處理方法，其特征在于，所述數據源至少包括：軌道設備數據、列車運行數據和客流數據。

11.一種面向軌道交通的分層數據處理系統，其特征在于，包括：

12.根據權利要求11所述的面向軌道交通的分層數據處理系統，其特征在于，所述邏輯生成模塊內預設有sql語法模板；

13.根據權利要求11所述的面向軌道交通的分層數據處理系統，其特征在于，所述邏輯生成模塊用于在數據處理的過程中，動態生成所述sql語句，以構建和調整所述數據處理邏輯。

14.根據權利要求11所述的面向軌道交通的分層數據處理系統，其特征在于，所述分層數據處理系統還包括配置管理模塊，所述配置管理模塊用于對所述數據處理流程的配置內容進行調整；

15.根據權利要求11所述的面向軌道交通的分層數據處理系統，其特征在于，所述數據源至少包括：軌道設備數據、列車運行數據和客流數據。

16.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器上存儲有計算機程序，所述計算機程序被所述處理器執行時，實現權利要求1至10中任一項所述的方法。

17.一種可讀存儲介質，其特征在于，所述可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時，實現權利要求1至10中任一項所述的方法。

技術總結
本發明公開了一種面向軌道交通的分層數據處理方法及系統，方法包括：根據業務需求，通過SQL語句的組合構建數據處理邏輯；基于數據倉庫的分層理論設計數據處理流程，并根據數據處理邏輯自動執行數據處理流程，數據處理流程包括：從數據源獲取原始數據，并進行格式處理；對格式處理后的原始數據進行數據質量檢查、數據清洗和數據轉換；對清洗和轉換后的原始數據進行數據匯總和數據統計，生成中間數據表；根據中間數據表進行數據提取和/或數據分析。本發明通過將數據處理邏輯的構建簡化為SQL語句的組合，降低了技術門檻，顯著提升了開發和維護效率。通過根據數據倉庫的分層理論設計數據處理流程，實現了模塊化和層次化管理。

技術研發人員：張新彤,李泉衡,馬慶,李毅,何浩,謝翕,周星宇,涂鵬飛
受保護的技術使用者：卡斯柯信號有限公司
技術研發日：
技術公布日：2025/4/28