1.这个cdc也是开源的吗?
答:OB oblogproxy+ canal CDC的组合是开源的。
2.Docker 镜像部署怎么用 cdc 呢?
答:目前需要自己编写dockfile打镜像。
3.和商用的有啥区别
答:OMS社区版和商业版在功能上确实是存在一定的区别,具体请以后续开源公布的功能为准。
4.你们cdc的商业版本
答:OB oblogproxy+ canal CDC的组合是开源的。
5.使用了消息队列的,adapter只能使用消息队列订阅机制保障高可用吗?
答:canal adapter的高可用跟canal server的高可用一样都是用的zookeeper。
6.如果ob集群中表字段改字段类型,也会进行同步么
答:OB修改表的时候对字段类型需要有一定的兼容性,具体可以参考
https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.1/DDL
7.MySQL到ob,多源同步到一个库有什么需要注意的地方吗?有生产方面的推荐配置吗?
答:如果涉及多源汇聚(总),需要注意汇聚后的表上需要能有组合索引(主机或者唯一键)。
8.多实例还是多rdb配置?
答:目前的OB同步到MySQL方向的链路,rdb中只能配置一个database,如果涉及多实例,多database,是需要多个canal instance实例的。
9.部署了多RDB,同步不同database
答:目前的OB同步到MySQL方向的链路,application.yml文件中jdbcurl中指定的database名字要和rdb中的库名一致。
10.为什么需要zookeeper分布式组建
答:canal server和canal client的高可用需要zk。
11.OMS社区版啥时候开源?已经可以下载了吗?
答:OMS 代码目前并没有开源,是提供二进制给社区使用,目前还不能下载。
12.oms开源版啥时候发布?
答:大约是月底(2021/12),具体还是以我们正式发布的时间为准。
13.现在还不能使用么?
答:是的。OMS 社区版还没有正式发布。
14.oms jdbcwriter 写的超时时间socket_timeout建议多少
答:默认是50秒。写超时时间设置的长,就可以更大限度的容忍网络延时、目标端数据库负载抖动。设置的短,则可以更快速的反馈给用户感知。具体还是根据业务场景和用户需求来判断。
15.oms支持pg吗?
答:目前还不支持,有计划。
16.OMS的数据订阅,是基于消息队列的订阅吗?
答:有两种方式:
1)OMS 商业版支持将数据库增量投递到常见的消息队列,从而用户可以从消息队列中订阅消费。
2)不依赖消息队列,OMS 自身也可以提供数据订阅,但目前在产品层还没有透出这种订阅方式。
17.有了OMS后,刚学的这些是可以代替掉吗?
答:我理解不是替代关系,dbcat/datax/clogproxy/canal 这些组件开源,用户可以定制编排,更灵活的实现一些定制化的数据使用场景。
18.彩用什么原理迁移的?是数据log复制,还数据转换,还是什么
答:OMS 迁移过程中传输的数据分两个维度:
1)数据库存量数据,这些本质就是从源端 select 出来之后向目标端 insert。
2)增量数据,是读取的数据库日志,MySQL 的话是 binlog,OB 的话是 clog。
19.oms 有高可用吗?
答:有,OMS 可以做集群化的部署,在任务异常或节点宕机是提供高可用能力。
20.canal :mysql到ob, oblogproxy +canal :ob到mysql。有了OMS后,刚学的这些是可以代替掉吗?
答:canal不属于oms体系;logproxy属于oms体系,但不是一个强依赖。oms本身可以覆盖canal+logproxy的模式。
21.有了oms 其他都不用学了么
答:是的
22.OMS开源版的会支持数据订阅吗,还是订阅必须使用OblogProxy+Canal?
答:OMS 产品层还没有开放数据订阅,订阅建议目前还是先使用 oblogproxy+canal。
23.OMS开源版支持集群吗
答:支持多节点、集群化部署。
24.OMS开源版支持的数据库类型,和企业版一样吗?
答:不一样,OMS 这次的社区版只支持 MySQL 和 OceanBase 社区版。
25.针对大字段,有解决方案么
答:同步侧没有问题。
26.oms性能调优有哪些手段
答:OMS 链路组件基于过去的积累,性能方面已经经历了多场景多轮次的调优。但实际场景往往更加复杂,部署架构、网络延时、业务特征都会影响到性能。进一步的调优还会依赖于用户对于 OMS 同步原理的理解和对链路环境的分析。
27.性能不够怎么办
答:首先是确定性能瓶颈在哪里,然后尝试组件调优、机器扩容、或是外部环境变更。
28.blob能复制吗?
答:可以的。
29.迁移的可靠性怎么样?千万级大表,有什么需要注意的吗?
答:OMS 社区版基于 OMS 3.2.1 商业版开发,经过了阿里内外部非常多场景的验证。可靠性应该还可以的。千万级大表还好,我们支持过 250 亿行记录的大表迁移。
30.迁移过程中能否设置自动订正?
答:可以。全量校验提供了批量订正的功能。订正后还可以重新发起校验。
31.ob到数仓可以吗
答:OMS 阿里云版本支持到阿里云体系数据仓库,adb,dataworks
32.ddl 支持吗?
答:商业版支持,这次发布的社区版暂不支持。
33.都支持OB和MySQL了,还不支持OB到OB啊?
答:OB-OB OMS 商业版是支持的,这次的 OMS 社区版目前只支持 MySQL 和 OB 社区版之间的迁移同步。
34.无主键表支持吗?
答:这是个好问题,OMS 社区版对 MySQL,不能够支持无主键表的迁移同步。
35.多源mysql库到一个ob库是支持的?
答:支持,OMS 库表名映射时可以配置出多库到单库的迁移链路。
36.有没有一些性能指标?
答:jdbcWriter模块:拉取日志的rps,iops,写入的rps,tps,iops
37.分库分布的mysql能做汇总吗?
答:可以的,可以通过库表重命名做到分库分表到 OB 单表的数据汇集。
38.单机32core的最大性能有性能指标吗?
答:jdbcWriter商业版:1core 单条数据1k,在目标数据库,网卡没有限制的情况下,能达到1.5w的rps,最高6core,能达到9w的rps
39.能做过滤吗,比如一些数据不需要同步
答:OMS 商业版支持,社区版暂没有开放数据过滤能力。