老师们好,我们有如下背景和需求,需要老师们协助分析
背景:我们原有一个PolarDB数据库,目前有几个场景需要监听binlog,基于CDC来做增量数据同步到ES和Doris。
需求:目前我们已经搭建了OB集群,1-1-1架构,且已经将PoalrDB的数据迁移到了这个OB集群,我们想后面基于这个OB集群的binlog,来对接我们已经实现的功能,我理解需要OB也能使用到binlog,但目前我了解到的OB不像Mysql一样,有现成的binlog文件目录,我们应该如何做能够实现正常生成binlog并监听
3 个赞
咖啡哥
#3
通过OMS将增量接入到kafka,再搞个应用处理kafka消息?
或者用那个binlog服务
我想像mysql的binlog那样,产生格式为ROW的 binlog,且生成的binlog,我使用canal监听的时候,可以使用类似下面配置,指定binlog读取的位点
canal.instance.master.journal.name=mysql-bin.000123
canal.instance.master.position=456789
通过OMS将增量接入到kafka,再搞个应用处理kafka消息,这个方式我们对接改动太大,想弄成和Mysql一样,正常持续产生binlog
咖啡哥
#7
3 个赞
辞霜
#8
OceanBase 社区已接收您的帖子,正在跟进中。
使用OCP的binlog功能可以(需要安装对应服务),我测试过直接otter取OB的binlog,挺好用的,但是存在的问题的binlog没有后续的官方支撑,有问题很难处理。