oceanbase cdc读取不到数据

使用oceanbase cdc读取不到数据,使用的版本是flink 2.3,oceanbase4.2,oblogproxy-ce-for-4x-1.1.3,这是flink日志,也没见报错,但就是读不到数据

这是flink 日志

flink cdc 换成 2.4.x 试试

您好,我换2.4.x后还是不行

订阅消息用非 sys 租户的用户试试,4.x 目前订阅不了 sys 租户的增量日志。

你好,我创建了mysql租户试了还是不行

这是oblogproxy的日志,这个中有报错

oblogproxy 这个报错是不影响的,从 flink 的日志来看,应该是 oblogproxy 一侧断开了连接。麻烦看下 oblogproxy 的 run/${client id}/log 路径下边有没有其他的 error 日志,client id 就是 flink 日志里的 ClientId。

有的,您看是这个吗

这里有一个测试包,麻烦您先用它来测一下 oblogproxy 能否正常工作,使用说明可以参考里面的 readme。

https://github.com/oceanbase/oblogclient/releases/download/logclient-1.0.7/oblogclient-demo.zip

好的,我先试试


您好,这是测试结果

看起来连接建立成功了,您修改一下远端的数据表,看下 oblogclient 能收到试试修改吗,dml 和 ddl 都可以。

您好,这是执行结果,好像并未获取到数据

老师,已经可以读取到数据了,但读取的时候速度比较慢,8条数据大概读取了30秒

在客户端配置里有一个 working mode 选项,你可以把它设置成 memory 试一下,storage 模式主要用来应对大事务,会对日志进行持久化,速度上会比 memory 模式慢一些。

除此之外,数据拉取速度还可能跟 logproxy 与 observer 的网络状态以及 logproxy 服务(部署机器)本身的硬件资源有关,一般情况下我们建议把 logproxy 部署在与 observer 通信良好的独立机器上。

working mode是在哪里配置呢,没找到配置的地方

这个是 oblogclient 的配置,在 demo 里没有,可以参考这个文档:https://github.com/oceanbase/oblogclient/blob/master/docs/quickstart/logproxy-client-tutorial-cn.md

flink cdc 里也可以设置,可以参考这个文档:https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oceanbase-cdc(ZH).html#id3

设置working mode为memory后,提升性能不大,应该和我使用的虚拟机有关,谢谢老师支持

咨询下,4.x如何订阅sys租户的增量日志,或者flink可以全量获取么