那在项目中元数据管理该怎么做呢?
01 元数据范围首先确定元数据来源范围,在实际的工作中,不是所有数据都是要做元数据管理,通常我们会选择业务数据做元数据管理,非业务数据(例如:备份数据、系统日志等)是不会纳入管理范围内,主要还是因为元数据管理是提供业务和开发人员快速掌握业务数据 。
确定规则后,就要结合公司的实际情况去梳理出哪些业务系统、哪些数据库、哪些数据库用户、哪些表需要做元数据管理 。当然也可以支持非结构化数据的元数据抽取,例如:word、pdf等 。
02 元数据接入【数据管理怎么做,管理与能力应用使用分享?】元数据从哪接入,一般都是从源系统接入,假如公司已经存在数仓或者实时性要求不高,为了节约开发工作量,对于已有的元数据会从数仓接入,还未接入的会从源系统进行接入 。
但这种方案也是存在风险,假如数仓的数据和源系统出现不一致,就会导致元数据出错 。现在大部分的元数据抽取都是采用配置自动化的方式进行 。
03 元数据标准在梳理的过程中可能会出现有些数据库或者有些数据定义不规范的情况,导致元数据管理无法进行下去 。那接下来需要建立元数据的管理规范,去反推前端的源数据进行整改,主要是保证元数据的完整性和一致性 。
针对不同的类型的公司要求,元数据会开放给不同的人群,所以要对元数据进行权限管理,规范里面就需定义权限的管理流程:元数据的权限分层、元数据权限申请流程、元数据的发布流程、元数据的审核流程 。
我的公司将元数据分为业务和技术两个管理属性,技术人员可以查看全域元数据,业务人员只能查看自己所对应业务流程的元数据,如要查看其他业务流程的元数据,需进行申请,申请流程要过元数据对应的业务和技术属主 。
04 元数据维护元数据维护主要是对已经发布的元数据进行维护管理,已经发布上线的元数据,如需调整、优化则必须重新走元数据发布流程,不准许对元数据进行直接修改 。为了安全,元数据所有操作行为都要记录到元数据操作日志里面 。
可以对元数据创建目录将不同的元数据挂在对应的目录下,按照业务流程、业务主题域、开发流程设计对应的目录,主要还是根据公司要求设计 。
05 元数据查找、分析、报告有单独的页面支持元数据的模糊或精准快速查找,通过输入关键信息查找对应的元数据 。我所在的公司将元数据作为数据资产的一类,因此我们需要产出元数据资产报告,从报告中能够快速的了解元数据访问热度、数据价值、数据成本、数据分布等相关信息 。
分析这块上一篇文章就有提到,主要是血缘分析,做血缘分析的两种方法 。血缘分析对做关联影响分析很重要,尤其是刚进来的开发或者业务不了解数据,通过血缘分析能够快速的定位、分析数据 。
好了,这篇文章的内容蜀川号就和大家分享到这里!
- 眼睛里面长了个白色肉疙瘩是怎么回事 眼睛下面长白色疙瘩粒
- 咳嗽无痰吃什么药 一直咳嗽没有痰不见好怎么办
- 三文鱼翅烧汤做法 三文鱼可以做汤吗好吃吗
- 红薯叶敷面膜的做法 番薯叶的做法大全
- 2岁宝宝怎样吃鳕鱼 一岁宝宝吃鳕鱼的做法
- 嗓子总痒痒想咳嗽怎么调理 长期咳嗽老不好怎么办
- 你在喝醉之后是怎么醒酒的 过量饮酒的穴位按摩解酒
- 舌苔白厚喉咙有痰怎么办 成人止咳化痰偏方
- 还有什么好吃的适合做给他们吃呢 适合老人的营养粥
- 1380元血氧仪|1380元血氧仪成本仅几十块是怎么回事 血氧仪为什么这么贵了