flinkcdc实时采集ob,当ob中数据发生变更时,没有采集到数据

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】
【 使用版本 】
【问题描述】
数据发生变更,但是采集不到,已部署的组件有ob(oceanbase-ce-4.5.0.0)、obproxy(obproxy-ce-4.3.5.0)、obbinlog(obbinlog-ce-4.3.5),现在服务间能连通,同时也能看到mysql-bin.000004这些binlog文件
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接(右键跳转查看):

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试,在发帖时输入 [@论坛小助手] 即可召唤小助手,欢迎试用!

1 个赞

用户问题总结: 在 Flink CDC 实时采集 OceanBase 数据的过程中,当 OceanBase 中的数据发生变更时没有被采集到。当前使用的是 OceanBase 社区版 4.5.0.0,obproxy 社区版 4.3.5.0 和 obbinlog 社区版 4.3.5.0。

推荐使用 obdiag 工具进行日志采集,以便我们能够根据收集到的信息进一步分析问题的原因。
日志采集场景: 日志归档问题
日志采集命令: obdiag gather scene run --scene=observer.log_archive

为了更好地了解问题的背景和可能的原因,请您提供以下信息:

  1. 问题出现前是否进行了任何配置更改或软件更新?
  2. 是否在 OceanBase、obproxy 或 obbinlog 的日志中发现了与该问题相关的错误信息或警告?
  3. 能否提供 Flink CDC 任务的具体配置,包括但不限于连接配置和同步策略?
  4. 当前环境中是否启用了 binlog 功能,以及 binlog 功能的相关配置?
  5. 能否复现该问题?如果可以的话,能否描述一下复现问题的具体步骤?
  6. 在问题出现的时间段内,是否有大流量或其他可能影响性能的操作?

请您使用上述命令采集日志,并将生成的日志压缩包提供给我们,以便我们能够进行更深入的分析。感谢您的配合!

附上敏捷诊断工具 obdiag 使用帮助链接

没有错误日志,查看到已开启binlog日志