数字化转型吧 关注:167贴子:825
  • 0回复贴,共1

元数据集成及数据血缘分析过程演示

只看楼主收藏回复

元数据集成的脚本导入
事前需要准备好相关库的sql脚本。
1、点击上方的添加,选择元数据源

2、配置元数据源基本信息,点击下一步

3、填写数据库信息,以及采集元数据目标,点击下一步

扫描模式分为三个:
1)增量:每次运行会加载新增的对象,对于已删除的对象仍然会保留在数据目录中。
2)版本:每次运行会加载新增的对象,对于已删除的对象会从数据目录中移除。
3)重新加载:每次运行都会先清空数据目录中的所有对象,重新从数据库中抽取。
4、点击加载文件,选中事先准备好的SQL文件,选中字符编码。点击运行。
SQL文件内容就是建表的SQL语句。

PS:此处需要注意,文件名编码需要与SQL脚本的编码保持一致,否则数据目录会出现乱码情况。
5、完成之后可查看运行日志

6、查看运行日志

7、查看数据目录
完成加载之后,可以在左边框查看加载进来的数据目录,选中某个对象可查看详细信息。

元数据集成的直连数据库导入
1、点击上方的添加,选择元数据源

2、配置元数据源基本信息,点击下一步

3、配置数据库信息,以及采集元数据目标,点击运行

扫描模式分为三个:
1)增量:每次运行会加载新增的对象,对于已删除的对象仍然会保留在数据目录中。
2)版本:每次运行会加载新增的对象,对于已删除的对象会从数据目录中移除。
3)重新加载:每次运行都会先清空数据目录中的所有对象,重新从数据库中抽取。
4、完成之后可查看运行日志

5、查看运行日志

6、查看数据目录。
完成加载之后,可以在左边框查看加载进来的数据目录,选中某个对象可查看详细信息

ETL过程导入及血缘分析
企业数据智能图谱通过解析相关的ETL过程或者是java、python程序,可以自动分析并构建数据之间的血缘关系。下面以Informatica PowerCenter的ETL过程为例进行介绍。
前提:在此之前,已经通过章节2,依次将CPSMZQ、WIND_ZXCFGL、ODS、DW这四个库的元数据加载到企业数据智能图谱中。同时,使用PowerCenter开发好了相关数据同步的ETL过程。
1、点击上方的添加,选择元数据源

2、配置元数据源基本信息,点击下一步

3、配置相关信息,点击下一步

扫描模式分为三个:
1)增量:每次运行会加载新增的对象,对于已删除的对象仍然会保留在数据目录中。
2)版本:每次运行会加载新增的对象,对于已删除的对象会从数据目录中移除。
3)重新加载:每次运行都会先清空数据目录中的所有对象,重新从数据库中抽取。
4、上传从PowerCenter导出的xml文件,点击运行

PS:ETL过程需要从PowerCenter客户端的Repository Manager应用导出,否则无法构建血缘关系。
5、选择查看日志

6、查看运行日志

7、查看加载的元数据
完成加载之后,可以在左边框查看加载进来的元数据,选中某个对象可查看详细信息。

查看数据目录及血缘关系
1、登录平台,在首页查找框输入要查找的资产名称

PS:此处搜索只能针对资产名称进行搜索,无法使用备注等信息进行搜索。
2、查找结果可根据左边的筛选框进行过滤

3、筛选出需要的资产,点击进入查看

4、在概要界面可以查看资产的详细信息

5、血缘关系界面可以看到资产的血缘

6、切换到详细信息,可以看到详细的上下游血缘

7、以存储过程、视图构成的血缘关系,点击连接的线,可以看到具体的逻辑,并且会高亮显示该资产在逻辑中的具体位置

8、以PowerCenter构成的血缘关系,鼠标移动到最右边的详情上面,会在血缘图中,高亮显示相关的资产

9、点击资产的箭头,可以展示详细的字段级别的血缘

10、勾选想要显示的字段

11、展示字段级别血缘关系

企业数据智能图谱目前已经拥有50+种元数据采集的接口,详细介绍待后续更新~
欢迎关注公众号:数字化智能运营平台


IP属地:广东1楼2021-08-10 10:39回复