OB数据库如何监听binlog

老师们好,我们有如下背景和需求,需要老师们协助分析

背景:我们原有一个PolarDB数据库,目前有几个场景需要监听binlog,基于CDC来做增量数据同步到ES和Doris。
需求:目前我们已经搭建了OB集群,1-1-1架构,且已经将PoalrDB的数据迁移到了这个OB集群,我们想后面基于这个OB集群的binlog,来对接我们已经实现的功能,我理解需要OB也能使用到binlog,但目前我了解到的OB不像Mysql一样,有现成的binlog文件目录,我们应该如何做能够实现正常生成binlog并监听

3 个赞

通过OMS将增量接入到kafka,再搞个应用处理kafka消息?

或者用那个binlog服务

我想像mysql的binlog那样,产生格式为ROW的 binlog,且生成的binlog,我使用canal监听的时候,可以使用类似下面配置,指定binlog读取的位点

canal.instance.master.journal.name=mysql-bin.000123
canal.instance.master.position=456789

通过OMS将增量接入到kafka,再搞个应用处理kafka消息,这个方式我们对接改动太大,想弄成和Mysql一样,正常持续产生binlog

我们主要使用场景是canal和FlinkCDC

你可以看看官网,binlog服务应该能满足你的要求。

https://www.oceanbase.com/docs/common-oblogproxy-doc-1000000004391630



3 个赞

OceanBase 社区已接收您的帖子,正在跟进中。

这个方案完美适配

使用OCP的binlog功能可以(需要安装对应服务),我测试过直接otter取OB的binlog,挺好用的,但是存在的问题的binlog没有后续的官方支撑,有问题很难处理。