通过canel如何读取OB的binlog日志

老师您好,我们想自己使用canel读取binlog日志,我们想将binlog日志读取为消息,写入消息队列,由我们自主控制日志消息的消费,但是我看OB的binlog和mysql的格式不太一样,我通过canel应如何读取OB的binlog日志呢

2 个赞

需要使用oblogproxy 组件,具体看看这个文档。
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000002012748

5 个赞

您好,您发的这个帖子,我看的效果是实时同步的呢,针对我们的场景,我想要做成可控的,将binlog读取后,存入消息队列中来消费,需要做成非实时的,有没有可通过代码配合canel一起,实现读取到OB的binlog呢,类似读取mysql的binlog

3 个赞

老师们好,我们想通过canel读取OB的binlog日志,想要做成可控的,不需要做成实时同步,希望我们自己通过写应用代码将binlog读取后,存入消息队列中来消费,类似读取mysql的binlog,但是我看OB的binlog和mysql的还不一样,应该如何来实现读取到OB的binlog

3 个赞

获取oceanbase的cdc变更,为什么不用oms 获取吐到kafka呢? 感觉ob的binlog还比较麻烦些!

2 个赞

您好,有相关博文吗,我想看看学习一下

3 个赞

https://www.oceanbase.com/docs/community-oms-cn-1000000001880713
这里

4 个赞

谢谢,我先看下

3 个赞

你用的是canal,名字敲错了

4 个赞

是的,多谢纠正

3 个赞

最新的 Binlog 服务可以搭配官方原版的 canal 来使用,具体配置的时候连接信息(地址、端口、用户名和密码这些)按照连接 OBProxy 的配置填就可以。社区版 Binlog 的部署可以参考:https://www.oceanbase.com/docs/community-oblogproxy-doc-1000000001999434

4 个赞

好的,我看下

老师你好,这种获取binlog的方式成本比较高呢,为了获取binlog,需要搭建一个集群来获取,有没有类似mysql的方式,可以自动记录好binlog,我们直接读呢

不好意思 都是通过这种方式 来获取的 需要把ob的日志转化为binlog的方式 我记得成本不高 单节点也是可以的

2 个赞

哦,是比mysql复杂些,这种转化后的binlog日志的格式是通用的binlog日志格式吗,这种转化后的binlog的保留时间我们可以自行设置吗

binlog service 这套方案是基于 ob 的 clog 对 mysql binlog 做了兼容,格式上跟 mysql binlog 大部分是一样的,4.x 版本的 binlog service 保存时间和文件大小这些可以通过参数配置。

3 个赞

老师您好, env/deploy.conf.json做这个配置文件有配置示例吗,我想转化的逻辑库有多个,这个database数据项不知如何配置,包括下面框红的三个数据项,也担心配置错

这里要填的是元数据库的信息,元数据库是用来存储 binlog 服务自身的一些信息的,只能配置一个 db。你说的要生成 binlog 的 ob 租户,需要在部署完成后通过管控命令 create binlog xxx 来创建转换任务。

好像不行

有用,连接收藏了,谢谢