Flink cdc + oblogproxy(binlog模式) + ob系列问题咨询-05

【测试环境】

【 OB 】

【 4.2.1】

【问题描述】

把oblogproxy改为binlog模式后,使用flink 的MySQL cdc,对一张大表进行监听,每隔一分钟就会中断一次

先用命令行连上数据库,执行 show binary logs; 看看

连Obproxy?

这里的 flink cdc 是如何配置的?发一下呢

‘scan.incremental.snapshot.enabled’ = ‘true’,

‘scan.snapshot.fetch.size’ = ‘500000’,

‘connector’ = ‘mysql-cdc’,

‘hostname’ = ‘xxx’,

‘port’ = ‘2883’,

‘username’ = ‘xxx’,

‘password’ = ‘xxx’,

‘database-name’ = ‘test’,

‘table-name’ = ‘flink_oceanbase_sink’

出问题前有读取到数据吗,这个异常出现的时间是全量读取过程中还是全量完成后?

另外可以的话麻烦提供下 flink 这边的详细日志。

也发一下 oblogproxy 的日志

出问题之前有读到,不过就是断断续续的读,一会读一波,这个异常出现的是全量读取的过程中。
flink日志唯一能看到异常的就是图上的截图。这个没法全部打包上传,公司不允许

读不到数据的时候都是在打这种日志:

我想这个可能与 gtid subtract 有关系,现在使用的是 oblogproxy 哪个版本?推荐用最新版本 2.0.1 版本

推荐用 2.0.1 试用下,已发布的 2.0.0 存在 gtid subtract 计算问题(已经在 2.0.0_BP1 修复了)。

升级了还是不行