老秃头怪
#1
数据治理是管理数据资产的全套体系,核心掌握以下7大模块 :
一、数据治理框架
| 核心内容 |
要点 |
| DAMA-DMBOK |
国际公认的数据管理知识体系,含11大职能 |
| 组织架构 |
决策层(治理委员会)+管理层(治理办公室)+执行层(数据管家) |
| 战略与原则 |
数据作为资产、权责明确、合规使用 |
二、数据质量管理
| 核心 |
内容 |
| 6大维度 |
准确性、完整性、一致性、及时性、唯一性、有效性 |
| 质量评估 |
制定质量指标、定期打分、问题跟踪 |
| 数据清洗 |
去重、补全、纠错、标准化 |
口诀 :准完一及唯有,六维保质量
三、元数据管理
| 核心 |
内容 |
| 三种类型 |
业务元数据(业务含义)、技术元数据(表结构/字段)、操作元数据(访问记录) |
| 数据血缘 |
数据从哪里来、经过哪些处理、去向哪里 |
| 数据元 |
最小数据单元,统一口径的基础 |
四、主数据管理
| 核心 |
内容 |
| 主数据范围 |
客户、产品、供应商、员工、组织架构等核心业务实体 |
| 黄金记录 |
跨系统统一、去重、合并后的唯一真相版本 |
| 匹配与合并 |
识别同一实体在不同系统的记录并合并 |
五、数据安全与合规
| 核心 |
内容 |
| 权限管理 |
RBAC模型、最小权限原则 |
| 数据脱敏 |
敏感数据动态/静态脱敏(如手机号显示138****5678) |
| 合规要求 |
个人信息保护法、数据安全法、GDPR |
| 审计日志 |
谁、何时、做了什么操作,全程可追溯 |
六、数据生命周期
| 阶段 |
要点 |
| 创建 |
源头管控,规范录入 |
| 存储 |
分级存储、冷热分离 |
| 使用 |
权限控制、使用留痕 |
| 归档 |
历史数据归档到低成本存储 |
| 销毁 |
合规删除,不可恢复 |
七、关键技能与工具
| 类别 |
技能/工具 |
| 技术 |
SQL、Python、Hive、Spark |
| 工具 |
元数据管理(Atlas/DataHub)、数据质量(Great Expectations)、BI(Tableau/FineBI) |
| 证书 |
CDGA(工程师)、CDGP(专家) |
一句话总结 :数据治理 = 定标准 + 控质量 + 理血缘 + 保安全 + 管全生命周期 ,最终让数据可信、可用、安全、合规。