麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

一種支持多源異構數據的處理方法及系統與流程

文檔序號:41734408發布日期:2025-04-25 17:06閱讀:來源:國知局

技術特征:

1.一種支持多源異構數據的處理方法,其特征在于,所述方法包括:

2.根據權利要求1所述的一種支持多源異構數據的處理方法,其特征在于,將解析成功的數據構成正確數據集,解析失敗的數據構成錯誤數據集;根據數據結構類型,利用聚類算法將正確數據集內的數據分為多個子數據集;

3.根據權利要求2所述的一種支持多源異構數據的處理方法,其特征在于,所述動態調整擴展插件的輪詢間隔,以保證目標系統的權限模型能夠及時映射,包括:

4.根據權利要求3所述的一種支持多源異構數據的處理方法,其特征在于,所述通過滑動窗口加權平均延遲和比例積分控制算法動態計算新輪詢間隔,包括:

5.根據權利要求4所述的一種支持多源異構數據的處理方法,其特征在于,所述定義全局策略還包括:

6.根據權利要求5所述的一種支持多源異構數據的處理方法,其特征在于,所述構建多條與etl路徑并行的實時流水線對采集到的數據進行處理,包括:

7.根據權利要求6所述的一種支持多源異構數據的處理方法,其特征在于,所述構建漸進切換策略,控制etl向實時流水線切換的過程,逐步將目標系統的etl數據處理任務切換至實時流水線,包括:

8.根據權利要求7所述的一種支持多源異構數據的處理方法,其特征在于,所述構建漸進切換策略,控制etl向實時流水線切換的過程,逐步將目標系統的etl數據處理任務切換至實時流水線,還包括:

9.根據權利要求8所述的一種支持多源異構數據的處理方法,其特征在于,所述利用數據倉庫內數據創建可視化的動態報表,通過預訓練的機器學習模型對動態報表數據進行分析預測,并將預測結果寫入動態報表,包括:

10.一種支持多源異構數據的處理系統,包括服務器、處理器、與處理器連接的多個數據采集接口、通信模塊和存儲器,所述處理器通過通信模塊與服務器連接,其特征在于,所述系統用于執行上述權利要求1-9中任意一項所述的一種支持多源異構數據的處理方法。


技術總結
本發明涉及數據處理技術領域,特別涉及一種支持多源異構數據的處理方法及系統,所述方法包括:從不同的目標系統采集數據,并為每條數據添加對應目標系統的識別標簽;構建多條與ETL路徑并行的實時流水線對采集到的數據進行處理,將解析失敗數據寫入錯誤數據區,并生成警告信息;將采集到的數據去除解析失敗數據后寫入臨時存儲區內;將實時數據處理系統的輸出和/或ETL路徑的輸出寫入數據倉庫;利用數據倉庫內數據創建可視化的動態報表,通過預訓練的機器學習模型對動態報表數據進行分析預測,并將預測結果寫入動態報表,以預測庫存需求和識別供應商風險。

技術研發人員:馬信陽,丁貞虎
受保護的技術使用者:安徽中技國醫醫療科技股份有限公司
技術研發日:
技術公布日:2025/4/24
當前第2頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 德惠市| 阿勒泰市| 东阳市| 祁阳县| 通城县| 邹城市| 临沭县| 搜索| 广州市| 绥化市| 镇巴县| 米易县| 伽师县| 咸宁市| 班玛县| 周口市| 关岭| 雷州市| 三原县| 梅河口市| 高邑县| 湘阴县| 灵丘县| 阿城市| 长岭县| 措勤县| 昭苏县| 资中县| 桦甸市| 大埔区| 乌拉特后旗| 长岭县| 安庆市| 莒南县| 和政县| 土默特左旗| 星子县| 都匀市| 洪洞县| 高要市| 九龙城区|