OMS 日志策略如何清理

OceanBase 技术问题
#1

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】版本号: 4.2.5_CE
【 使用版本 】日志怎么清理
【问题描述】清晰明确描述问题
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接（右键跳转查看）：

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

1 个赞
#3

根据文档库中的信息，OMS 日志清理策略如下：

  • 日志归档数据的清理依赖：在清理日志归档数据前，请确认已存在数据备份文件。如果没有数据备份文件，则无法清理日志归档数据。

  • 自动清理支持范围：

    • 自动清理仅支持清理配置项 data_backup_dest 以及 log_archive_dest 中设置的备份目的端的数据。
    • 对于已被更换备份目的端的场景，将无法通过 OceanBase 数据库进行清理。

  • 备份数据保留规则：自动清理会保留至少一份有效的备份数据。如果仅有一份有效的备份数据，则这份有效数据将一直不会被清理。

  • 不同备份目的端的清理方式：

    • 对于备份目的端为 NFS 或兼容 S3 协议的对象存储（OBS、GCS 等） 的场景，在进行备份数据的清理时，系统会直接删除满足要求的备份文件。
    • 对于备份目的端为 OSS/COS/S3 的场景，其备份文件的清理方式取决于 data_backup_dest 以及 log_archive_dest 中 delete_mode 参数的值，详细信息请参见 日志归档前准备 和 备份前准备。

以上信息适用于 OMS 社区版 V4.2.4-CE 及之后版本，因此也适用于您提到的 4.2.5_CE 版本。如果您需要进一步的操作指导或遇到具体问题，建议使用 obdiag 收集诊断信息，并联系 OceanBase 技术支持获取帮助。

具体信息可参考以下文档:

  1. JDBC-Sink
  2. 概述
  3. 常见问题
  4. 创建 MySQL 数据源（支持主备库）
  5. 自动清理过期备份
  6. 创建 MySQL 数据源
  7. 查询标签列表
  8. 更新 Incr-Sync 组件
  9. 更新 Full-Verification 组件
  10. 暂停指定标签下所有运行中的任务
#4

{
//是否开启日志清理
“logCleanSwitch”: false,
//需要清除的日志名字（可全名，也可通配符或？,代表所有,？代表匹配一位）
“fuzzyLogNames”: ["congo_20", "liboblog.log.20", “libobcdc.log.20*”, “connector.20*”, “common-default.log.20*”, “check_query.log.20*”, “common-error.log.20*”, “oms-ha.log.20*”, “oms-scheduler.log.20*”, “oms-web.log.20*”, “oms-step.log.20*”, “oms-alarm.log.20*”, “connection-error.log.20*”, “database.log.20*”, “oms-api.log.20*”, “oms-integration.20*”, “cm-web.log.20*”, “dao-digest.log.20*”, “service.log.20*”],
//日志保留时间(分钟级：当前时间(new Date())- logRetentionMin = 日志清理时间)
“logRetentionMinutes”: -60 //清理当前时间提前一小时之前的日志
}
以上为默认值

#5

image
image3008×1626 353 KB

#6

根据您提供的图片和 OCR 提取的信息，关于 OMS 日志清理策略中的 logCleanSwitch 参数配置，以下是详细的说明：

日志清理参数配置

在 OMS 系统参数中，有一个名为 oms.ce.plugin.log.clean 的参数用于配置日志清理策略。该参数的取值是一个 JSON 对象，包含以下字段：

  • logCleanSwitch: 控制日志清理功能是否开启。

    • true: 开启日志清理功能。
    • false: 关闭日志清理功能。

  • fuzzyLogNames: 一个字符串列表，定义了需要进行模糊匹配的日志文件名模式。例如：

    • "congo_20*"
    • "libobcdc.log.20*"
    • "common-default.log.20*"
    • 等等

  • logRetentionMinutes: 定义日志保留的时间（以分钟为单位）。负值表示删除指定时间之前的日志。例如：

    • -60: 表示删除超过 60 分钟前的日志。

示例配置

{
  "logCleanSwitch": true,
  "fuzzyLogNames": [
    "congo_20*",
    "libobcdc.log.20*",
    "common-default.log.20*",
    "check_query.log.20*",
    "common-error.log.20*",
    "oms-ha.log.20*",
    "oms-scheduler.log.20*",
    "oms-web.log.20*",
    "oms-step.log.20*",
    "oms-alarm.log.20*",
    "connection-error.log.20*",
    "database.log.20*",
    "oms-api.log.20*",
    "oms-integration.20*",
    "cm-web.log.20*",
    "dao-digest.log.20*",
    "service.log.20*"
  ],
  "logRetentionMinutes": -60
}

操作步骤

  1. 登录 OMS 管理界面：进入 OMS 系统管理页面。
  2. 导航至系统参数：选择“系统管理” → “系统参数” → “参数列表”。
  3. 修改日志清理参数：找到 oms.ce.plugin.log.clean 参数，点击编辑按钮。
  4. 配置日志清理规则：根据需要调整 logCleanSwitch、fuzzyLogNames 和 logRetentionMinutes 字段的值。
  5. 保存配置：确认无误后，保存修改。

注意事项

  • 备份数据：在执行日志清理操作之前，请确保已经对重要日志进行了备份，以防误删关键信息。
  • 测试环境验证：建议先在测试环境中验证日志清理策略的效果，确保不会影响系统的正常运行。
  • 监控日志清理效果：定期检查日志清理的效果，确保符合预期，并根据实际情况调整清理策略。

如果您有更多具体问题或需要进一步的帮助，请随时告知。

更多信息请查看:

  1. oceanbase.CDB_OB_RECOVER_TABLE_JOB_HISTORY
  2. 使用 OceanBase 导数工具在 OceanBase 集群 MySQL 租户间迁移数据

(小助手的答复已结束，如未能解决您的问题，请继续提问并等待其他同学的回复，谢谢！)

#7

可以根据需要调整

#8
  • 日志归档数据的清理依赖：在清理日志归档数据前，请确认已存在数据备份文件。如果没有数据备份文件，则无法清理日志归档数据。
  • 自动清理支持范围：
    • 自动清理仅支持清理配置项 data_backup_dest 以及 log_archive_dest 中设置的备份目的端的数据。
    • 对于已被更换备份目的端的场景，将无法通过 OceanBase 数据库进行清理。
  • 备份数据保留规则：自动清理会保留至少一份有效的备份数据。如果仅有一份有效的备份数据，则这份有效数据将一直不会被清理。
  • 不同备份目的端的清理方式：
    • 对于备份目的端为 NFS 或兼容 S3 协议的对象存储（OBS、GCS 等） 的场景，在进行备份数据的清理时，系统会直接删除满足要求的备份文件。
    • 对于备份目的端为 OSS/COS/S3 的场景，其备份文件的清理方式取决于 data_backup_dest 以及 log_archive_dest 中 delete_mode 参数的值，详细信息请参见 日志归档前准备 和 备份前准备。