【测试环境】
【 OB 】
【 4.2.1】
【问题描述】
把oblogproxy改为binlog模式后,使用flink 的MySQL cdc,对一张大表进行监听,每隔一分钟就会中断一次
先用命令行连上数据库,执行 show binary logs; 看看
连Obproxy?
这里的 flink cdc 是如何配置的?发一下呢
‘scan.incremental.snapshot.enabled’ = ‘true’,
‘scan.snapshot.fetch.size’ = ‘500000’,
‘connector’ = ‘mysql-cdc’,
‘hostname’ = ‘xxx’,
‘port’ = ‘2883’,
‘username’ = ‘xxx’,
‘password’ = ‘xxx’,
‘database-name’ = ‘test’,
‘table-name’ = ‘flink_oceanbase_sink’
出问题前有读取到数据吗,这个异常出现的时间是全量读取过程中还是全量完成后?
另外可以的话麻烦提供下 flink 这边的详细日志。
也发一下 oblogproxy 的日志
出问题之前有读到,不过就是断断续续的读,一会读一波,这个异常出现的是全量读取的过程中。
flink日志唯一能看到异常的就是图上的截图。这个没法全部打包上传,公司不允许
我想这个可能与 gtid subtract 有关系,现在使用的是 oblogproxy 哪个版本?推荐用最新版本 2.0.1 版本
推荐用 2.0.1 试用下,已发布的 2.0.0 存在 gtid subtract 计算问题(已经在 2.0.0_BP1 修复了)。
升级了还是不行