使用oceanbase cdc读取不到数据,使用的版本是flink 2.3,oceanbase4.2,oblogproxy-ce-for-4x-1.1.3,这是flink日志,也没见报错,但就是读不到数据
flink cdc 换成 2.4.x 试试
订阅消息用非 sys 租户的用户试试,4.x 目前订阅不了 sys 租户的增量日志。
oblogproxy 这个报错是不影响的,从 flink 的日志来看,应该是 oblogproxy 一侧断开了连接。麻烦看下 oblogproxy 的 run/${client id}/log
路径下边有没有其他的 error 日志,client id 就是 flink 日志里的 ClientId。
这里有一个测试包,麻烦您先用它来测一下 oblogproxy 能否正常工作,使用说明可以参考里面的 readme。
https://github.com/oceanbase/oblogclient/releases/download/logclient-1.0.7/oblogclient-demo.zip
好的,我先试试
看起来连接建立成功了,您修改一下远端的数据表,看下 oblogclient 能收到试试修改吗,dml 和 ddl 都可以。
老师,已经可以读取到数据了,但读取的时候速度比较慢,8条数据大概读取了30秒
在客户端配置里有一个 working mode 选项,你可以把它设置成 memory 试一下,storage 模式主要用来应对大事务,会对日志进行持久化,速度上会比 memory 模式慢一些。
除此之外,数据拉取速度还可能跟 logproxy 与 observer 的网络状态以及 logproxy 服务(部署机器)本身的硬件资源有关,一般情况下我们建议把 logproxy 部署在与 observer 通信良好的独立机器上。
working mode是在哪里配置呢,没找到配置的地方
这个是 oblogclient 的配置,在 demo 里没有,可以参考这个文档:https://github.com/oceanbase/oblogclient/blob/master/docs/quickstart/logproxy-client-tutorial-cn.md
flink cdc 里也可以设置,可以参考这个文档:https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oceanbase-cdc(ZH).html#id3
设置working mode为memory后,提升性能不大,应该和我使用的虚拟机有关,谢谢老师支持
咨询下,4.x如何订阅sys租户的增量日志,或者flink可以全量获取么