麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

基于數據湖通用元數據模型的元數據管理系統及方法與流程

文檔序號:41775005發布日期:2025-04-29 18:48閱讀:來源:國知局

技術特征:

1.基于數據湖通用元數據模型的元數據管理系統,其特征在于,包括:

2.根據權利要求1所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,元數據模型共定義三類節點和三類邊,其中,三類節點包括一級節點、二級節點和三級節點,三類邊包括一級邊、二級邊和三級邊;

3.根據權利要求1所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,元數據模型的實現過程如下:

4.根據權利要求3所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,所述數據實體是元數據模型的基本單位,表示來自各種數據源的數據對象;

5.根據權利要求1所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,將元數據模型的邏輯模型設計為圖的形式,根據定義的轉換規則,利用圖的節點、邊和屬性將相應的概念以圖的形式表示;

6.根據權利要求1所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,所述物理模型由圖形數據庫管理系統neo4j實現,采用hudi作為數據湖管理架構,在hudi攝取多源異構數據的過程中采集元數據,將采集到的元數據經過轉換、清洗處理后存入圖形數據庫管理系統neo4j中進行持久化存儲,以圖的形式建立元數據模型;通過圖形數據庫管理系統neo4j的cypher查詢語言對元數據進行查詢,直觀展示出多源異構數據的元數據信息及其在數據湖hudi中的存儲信息。

7.根據權利要求1-6任一所述的基于數據湖通用元數據模型的元數據管理系統,其特征在于,在多源異構數據入湖過程中攝取元數據;包括:

8.基于數據湖通用元數據模型的元數據管理方法,其特征在于,包括:


技術總結
本發明涉及基于數據湖通用元數據模型的元數據管理系統及方法,屬于元數據模型技術領域,包括:元數據攝取模塊,在多源異構數據入湖過程中攝取元數據;建模模塊,通過元數據模型對攝取的元數據進行建模,并支持動態擴展;元數據庫,用于接收和存儲攝取的元數據;元數據管理模塊,管理數據湖中多源異構數據的元數據和數據血緣,以圖的形式進行可視化展示;其中,通過元數據模型對攝取的元數據進行建模,并支持動態擴展;包括:元數據以圖的形式建模,用節點表示數據實體和元數據實體,自定義數據結構,包括結構化數據、半結構化數據和非結構化數據;用邊表示節點之間的關聯關系。本發明支持數據湖中的多源異構數據用例。

技術研發人員:郭瑩,趙志浩,王英龍,孫博文,王璽,孟旭東
受保護的技術使用者:山東省計算中心(國家超級計算濟南中心)
技術研發日:
技術公布日:2025/4/28
當前第2頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 喀喇| 拉萨市| 许昌县| 平果县| 达拉特旗| 宜城市| 宜兴市| 余干县| 札达县| 万全县| 蓝田县| 碌曲县| 葫芦岛市| 富裕县| 麟游县| 麦盖提县| 金沙县| 勐海县| 景德镇市| 枣庄市| 麻城市| 随州市| 安乡县| 浦江县| 华坪县| 常州市| 德令哈市| 札达县| 连州市| 玛沁县| 隆安县| 梁河县| 新乐市| 郸城县| 金堂县| 和林格尔县| 康平县| 丰顺县| 尉氏县| 南召县| 云龙县|