oms/oms_store/store7100/OB_MYSQL_CE_ten_1_6jqxgry6yye8非常大,有自动清理功能吗?

【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】4.2.7_CE
【问题描述】开启增量同步后,oms/oms_store/store7100/OB_MYSQL_CE_ten_1_6jqxgry6yye8文件非常大
【附件及日志】

这个跟你任务配置的日志保留时间有关系。默认好像是120小时,可以适当改小点。

应该有间隔参数设置的吧

oms默认增量日志保留120小时,参数名增量记录保存时间(影响任务断点重拉),可以稍微调低些,建议保留的时间有足够冗余发现任务异常并处理。

请问如何调整,具体是什么参数,从哪里配置?

这个版本有deliver2store.logminer.print_diagnose_info参数吗,设置成false

版本号: 4.2.7_CE 没有找到这个选项,请问您截图的版本是多少?




参考【 OMS 日志策略如何清理 - 社区问答- OceanBase社区-分布式数据库】,已找到解决办法,我设置后看看效果

文档链接:
修改系统参数-V4.2.7-OceanBase 迁移服务文档-分布式数据库使用文档
当前版本可以通过修改系统参数清理日志

2 个赞

@论坛小助手

根据您提供的信息和问题描述,以下是对您的问题的详细解答:

问题分析

  1. 文件过大问题:您提到 oms/oms_store/store7100/OB_MYSQL_CE_ten_1_6jqxgry6yye8 文件非常大,希望了解是否有自动清理功能。
  2. 版本确认:您使用的是 OMS 社区版 4.2.7-CE。
  3. 日志清理需求:您希望知道如何调整相关参数以实现日志清理。

解决方案

1. 日志清理功能

OMS 社区版支持通过配置参数来管理日志文件的清理。以下是具体步骤和参数说明:

  • 参数配置
    根据您上传的图片内容(OCR 提取结果),OMS 的日志清理功能可以通过以下 JSON 配置实现:

    {
      "logCleanSwitch": true,
      "fuzzyLogNames": [
        "congo_20*",
        "libobcdc.log.20*",
        "common-default.log.20*",
        "check_query.log.20*",
        "common-error.log.20*",
        "oms-ha.log.20*",
        "oms-scheduler.log.20*",
        "oms-web.log.20*"
      ],
      "logRetentionMinutes": 60
    }
    
    • logCleanSwitch: 控制是否开启日志清理功能。true 表示开启,false 表示关闭。
    • fuzzyLogNames: 指定需要清理的日志文件名模式(支持通配符)。
    • logRetentionMinutes: 设置日志保留时间(单位为分钟)。例如,60 表示保留最近 60 分钟的日志。
  • 配置位置
    该配置通常位于 OMS 的系统参数中。您可以登录 OMS 社区版控制台,在 系统管理 > 系统参数 页面找到并修改相关参数。


2. 针对 OB_MYSQL_CE_ten_1_6jqxgry6yye8 文件的处理

从路径和文件名来看,OB_MYSQL_CE_ten_1_6jqxgry6yye8 可能是与增量同步相关的中间数据文件或日志文件。以下是一些可能的优化措施:

  • 检查任务配置
    确认增量同步任务是否启用了不必要的日志记录。如果不需要详细日志,可以适当降低日志级别。

  • 调整存储策略
    如果文件确实为增量同步的中间数据文件,建议检查 OMS 的存储策略,确保其符合生产环境的需求。例如,可以通过以下方式减少文件大小:

    • 调整全量迁移并发速度(参考文档片段 8 中的 migration.checker.params.* 参数)。
    • 减少每次查询的数据量(limitator.select.batch.max)。
    • 增加内存分配(task.checker_jvm_param)。
  • 手动清理
    如果文件过大且无法通过配置自动清理,可以考虑定期手动删除旧文件。但请注意备份重要数据,以免误删。


3. 版本确认

您提到的版本号为 4.2.7-CE,与 OCR 图片中的版本信息一致。因此,无需担心版本不匹配的问题。


总结

根据文档库中的信息和您的描述:

  1. OMS 社区版支持通过配置参数实现日志清理功能,具体参数包括 logCleanSwitchfuzzyLogNameslogRetentionMinutes
  2. 针对 OB_MYSQL_CE_ten_1_6jqxgry6yye8 文件,建议检查任务配置、调整存储策略或手动清理。
  3. 当前版本(4.2.7-CE)支持上述功能,请按照上述步骤进行操作。

如果您在配置过程中遇到任何问题,欢迎随时联系 OceanBase 的人工答疑团队获取进一步帮助!

具体信息可参考以下文档:

  1. 设置审计规则
  2. DataFlowSource
  3. 批量操作数据同步任务
  4. OBServer 节点安装目录结构
  5. 如何处理因存在 LOB 字段导致全量迁移失败的问题
  6. 为 MySQL 数据库开启 Binlog
  7. 迁移 HBase 数据库的数据至 OBKV
1 个赞