老师您好,我们想自己使用canel读取binlog日志,我们想将binlog日志读取为消息,写入消息队列,由我们自主控制日志消息的消费,但是我看OB的binlog和mysql的格式不太一样,我通过canel应如何读取OB的binlog日志呢
需要使用oblogproxy 组件,具体看看这个文档。
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000002012748
您好,您发的这个帖子,我看的效果是实时同步的呢,针对我们的场景,我想要做成可控的,将binlog读取后,存入消息队列中来消费,需要做成非实时的,有没有可通过代码配合canel一起,实现读取到OB的binlog呢,类似读取mysql的binlog
老师们好,我们想通过canel读取OB的binlog日志,想要做成可控的,不需要做成实时同步,希望我们自己通过写应用代码将binlog读取后,存入消息队列中来消费,类似读取mysql的binlog,但是我看OB的binlog和mysql的还不一样,应该如何来实现读取到OB的binlog
获取oceanbase的cdc变更,为什么不用oms 获取吐到kafka呢? 感觉ob的binlog还比较麻烦些!
您好,有相关博文吗,我想看看学习一下
谢谢,我先看下
你用的是canal,名字敲错了
是的,多谢纠正
最新的 Binlog 服务可以搭配官方原版的 canal 来使用,具体配置的时候连接信息(地址、端口、用户名和密码这些)按照连接 OBProxy 的配置填就可以。社区版 Binlog 的部署可以参考:https://www.oceanbase.com/docs/community-oblogproxy-doc-1000000001999434
好的,我看下
老师你好,这种获取binlog的方式成本比较高呢,为了获取binlog,需要搭建一个集群来获取,有没有类似mysql的方式,可以自动记录好binlog,我们直接读呢
不好意思 都是通过这种方式 来获取的 需要把ob的日志转化为binlog的方式 我记得成本不高 单节点也是可以的
哦,是比mysql复杂些,这种转化后的binlog日志的格式是通用的binlog日志格式吗,这种转化后的binlog的保留时间我们可以自行设置吗
binlog service 这套方案是基于 ob 的 clog 对 mysql binlog 做了兼容,格式上跟 mysql binlog 大部分是一样的,4.x 版本的 binlog service 保存时间和文件大小这些可以通过参数配置。
这里要填的是元数据库的信息,元数据库是用来存储 binlog 服务自身的一些信息的,只能配置一个 db。你说的要生成 binlog 的 ob 租户,需要在部署完成后通过管控命令 create binlog xxx 来创建转换任务。
好像不行
有用,连接收藏了,谢谢