数据治理需要核心掌握的知识点有哪些

数据治理是管理数据资产的全套体系,核心掌握以下7大模块

一、数据治理框架

核心内容 要点
DAMA-DMBOK 国际公认的数据管理知识体系,含11大职能
组织架构 决策层(治理委员会)+管理层(治理办公室)+执行层(数据管家)
战略与原则 数据作为资产、权责明确、合规使用

二、数据质量管理

核心 内容
6大维度 准确性、完整性、一致性、及时性、唯一性、有效性
质量评估 制定质量指标、定期打分、问题跟踪
数据清洗 去重、补全、纠错、标准化

口诀 :准完一及唯有,六维保质量

三、元数据管理

核心 内容
三种类型 业务元数据(业务含义)、技术元数据(表结构/字段)、操作元数据(访问记录)
数据血缘 数据从哪里来、经过哪些处理、去向哪里
数据元 最小数据单元,统一口径的基础

四、主数据管理

核心 内容
主数据范围 客户、产品、供应商、员工、组织架构等核心业务实体
黄金记录 跨系统统一、去重、合并后的唯一真相版本
匹配与合并 识别同一实体在不同系统的记录并合并

五、数据安全与合规

核心 内容
权限管理 RBAC模型、最小权限原则
数据脱敏 敏感数据动态/静态脱敏(如手机号显示138****5678)
合规要求 个人信息保护法、数据安全法、GDPR
审计日志 谁、何时、做了什么操作,全程可追溯

六、数据生命周期

阶段 要点
创建 源头管控,规范录入
存储 分级存储、冷热分离
使用 权限控制、使用留痕
归档 历史数据归档到低成本存储
销毁 合规删除,不可恢复

七、关键技能与工具

类别 技能/工具
技术 SQL、Python、Hive、Spark
工具 元数据管理(Atlas/DataHub)、数据质量(Great Expectations)、BI(Tableau/FineBI)
证书 CDGA(工程师)、CDGP(专家)

一句话总结 :数据治理 = 定标准 + 控质量 + 理血缘 + 保安全 + 管全生命周期 ,最终让数据可信、可用、安全、合规。