OceanBase 社区版入门实战第四期直播答疑问题汇总

1.这个cdc也是开源的吗?

答:OB oblogproxy+ canal CDC的组合是开源的。

2.Docker 镜像部署怎么用 cdc 呢?

答:目前需要自己编写dockfile打镜像。

3.和商用的有啥区别

答:OMS社区版和商业版在功能上确实是存在一定的区别,具体请以后续开源公布的功能为准。

4.你们cdc的商业版本

答:OB oblogproxy+ canal CDC的组合是开源的。

5.使用了消息队列的,adapter只能使用消息队列订阅机制保障高可用吗?

答:canal adapter的高可用跟canal server的高可用一样都是用的zookeeper。

6.如果ob集群中表字段改字段类型,也会进行同步么

答:OB修改表的时候对字段类型需要有一定的兼容性,具体可以参考

https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.1/DDL

7.MySQL到ob,多源同步到一个库有什么需要注意的地方吗?有生产方面的推荐配置吗?

答:如果涉及多源汇聚(总),需要注意汇聚后的表上需要能有组合索引(主机或者唯一键)。

8.多实例还是多rdb配置?

答:目前的OB同步到MySQL方向的链路,rdb中只能配置一个database,如果涉及多实例,多database,是需要多个canal instance实例的。

9.部署了多RDB,同步不同database

答:目前的OB同步到MySQL方向的链路,application.yml文件中jdbcurl中指定的database名字要和rdb中的库名一致。

10.为什么需要zookeeper分布式组建

答:canal server和canal client的高可用需要zk。

11.OMS社区版啥时候开源?已经可以下载了吗?

答:OMS 代码目前并没有开源,是提供二进制给社区使用,目前还不能下载。

12.oms开源版啥时候发布?

答:大约是月底(2021/12),具体还是以我们正式发布的时间为准。

13.现在还不能使用么?

答:是的。OMS 社区版还没有正式发布。

14.oms jdbcwriter 写的超时时间socket_timeout建议多少

答:默认是50秒。写超时时间设置的长,就可以更大限度的容忍网络延时、目标端数据库负载抖动。设置的短,则可以更快速的反馈给用户感知。具体还是根据业务场景和用户需求来判断。

15.oms支持pg吗?

答:目前还不支持,有计划。

16.OMS的数据订阅,是基于消息队列的订阅吗?

答:有两种方式:

1)OMS 商业版支持将数据库增量投递到常见的消息队列,从而用户可以从消息队列中订阅消费。

2)不依赖消息队列,OMS 自身也可以提供数据订阅,但目前在产品层还没有透出这种订阅方式。

17.有了OMS后,刚学的这些是可以代替掉吗?

答:我理解不是替代关系,dbcat/datax/clogproxy/canal 这些组件开源,用户可以定制编排,更灵活的实现一些定制化的数据使用场景。

18.彩用什么原理迁移的?是数据log复制,还数据转换,还是什么

答:OMS 迁移过程中传输的数据分两个维度:

1)数据库存量数据,这些本质就是从源端 select 出来之后向目标端 insert。

2)增量数据,是读取的数据库日志,MySQL 的话是 binlog,OB 的话是 clog。

19.oms 有高可用吗?

答:有,OMS 可以做集群化的部署,在任务异常或节点宕机是提供高可用能力。

20.canal :mysql到ob, oblogproxy +canal :ob到mysql。有了OMS后,刚学的这些是可以代替掉吗?

答:canal不属于oms体系;logproxy属于oms体系,但不是一个强依赖。oms本身可以覆盖canal+logproxy的模式。

21.有了oms 其他都不用学了么

答:是的

22.OMS开源版的会支持数据订阅吗,还是订阅必须使用OblogProxy+Canal?

答:OMS 产品层还没有开放数据订阅,订阅建议目前还是先使用 oblogproxy+canal。

23.OMS开源版支持集群吗

答:支持多节点、集群化部署。

24.OMS开源版支持的数据库类型,和企业版一样吗?

答:不一样,OMS 这次的社区版只支持 MySQL 和 OceanBase 社区版。

25.针对大字段,有解决方案么

答:同步侧没有问题。

26.oms性能调优有哪些手段

答:OMS 链路组件基于过去的积累,性能方面已经经历了多场景多轮次的调优。但实际场景往往更加复杂,部署架构、网络延时、业务特征都会影响到性能。进一步的调优还会依赖于用户对于 OMS 同步原理的理解和对链路环境的分析。

27.性能不够怎么办

答:首先是确定性能瓶颈在哪里,然后尝试组件调优、机器扩容、或是外部环境变更。

28.blob能复制吗?

答:可以的。

29.迁移的可靠性怎么样?千万级大表,有什么需要注意的吗?

答:OMS 社区版基于 OMS 3.2.1 商业版开发,经过了阿里内外部非常多场景的验证。可靠性应该还可以的。千万级大表还好,我们支持过 250 亿行记录的大表迁移。

30.迁移过程中能否设置自动订正?

答:可以。全量校验提供了批量订正的功能。订正后还可以重新发起校验。

31.ob到数仓可以吗

答:OMS 阿里云版本支持到阿里云体系数据仓库,adb,dataworks

32.ddl 支持吗?

答:商业版支持,这次发布的社区版暂不支持。

33.都支持OB和MySQL了,还不支持OB到OB啊?

答:OB-OB OMS 商业版是支持的,这次的 OMS 社区版目前只支持 MySQL 和 OB 社区版之间的迁移同步。

34.无主键表支持吗?

答:这是个好问题,OMS 社区版对 MySQL,不能够支持无主键表的迁移同步。

35.多源mysql库到一个ob库是支持的?

答:支持,OMS 库表名映射时可以配置出多库到单库的迁移链路。

36.有没有一些性能指标?

答:jdbcWriter模块:拉取日志的rps,iops,写入的rps,tps,iops

37.分库分布的mysql能做汇总吗?

答:可以的,可以通过库表重命名做到分库分表到 OB 单表的数据汇集。

38.单机32core的最大性能有性能指标吗?

答:jdbcWriter商业版:1core 单条数据1k,在目标数据库,网卡没有限制的情况下,能达到1.5w的rps,最高6core,能达到9w的rps

39.能做过滤吗,比如一些数据不需要同步

答:OMS 商业版支持,社区版暂没有开放数据过滤能力。

如果大家针对数据迁移直播内容还有任何疑问,请在帖子下面留言哦~