在很多时候脱敏的规则是业务侧定义的，即由用户来定义什么是敏感数据，obdiag 在 2.5.0 版本开始支持自定义脱敏规则。obdiag 中关于脱敏规则的文件位于 ~/.obdiag/gather/redact/ 下，所有的 py 文件都是对应的规则，文件名即是规则名。
这个脱敏规则指的是? 不收集observer里的脱敏规则指定的敏感数据？
1 个赞
hello，我是负责脱敏规则内核功能开发的渠磊。
问题中的脱敏规则指对采集到的日志文件进行一定逻辑的改写规则，目前提供的all_sql是去掉日志中的sql语句信息。
脱敏功能需求的来源是
- 某个用户内部和非用户公司内的OceanBase运维团队诊断排查时需要通过obdiag gather提供相关日志；
- obdiag原生采集的日志是直接采集，日志内包含了涉及业务sql的内容，存在管控风险；
- 这些sql内容对诊断集群问题时帮助并不大（一般情况下诊断集群问题不需要业务sql）；
- 用户自行编写了相关的脱敏规则，并确认经过规则处理后，符合其管控规则，并贡献给obdiag社区用于实现自动化脱敏。
目前obdiag的最新版本已集成此功能，实现了如下功能；
- 支持在进行obdiag gather log指令时使用日志脱敏；
- 支持用户按自己的管控需求自行编写脱敏规则，并通过外挂py脚本的方式仅在自己内部使用（无需对obdiag或对外披露脱敏规则）；
- 提供了基于需求来源用户侧的脱敏规则实现：all_sql；
- 使用并发的方法实现了多文件同时脱敏，同时并发数参数可控。
另外如果对脱敏规则感兴趣想加入的一起共建的也欢迎加入我们的obdiag SIG