关于使用OMS做数据迁移的问题

【 使用环境 】生产环境
请教问题,目前OB集群已经搭建好4-4-4,12台服务器,data/1大约160T空间,目前是源端是oracle库,大约55T数据,想将这55T数据迁移到OB中,使用OMS进行

1:小弟第一次用这个OMS,应该注意哪些事项?避免踩坑
2:OB集群中我是不是需要创建个oracle类型的租户?

谢谢

2 个赞

1、各个环境使用oracle的深度不一样,可以先用测试环境坐下测试,具体遇到的坑可以社区来提问一块解决
2、一般oracle迁移都是oracle租户,oracle租户就是为了兼容oracle的

2 个赞
  1. OB 集群规模 4-4-4 算大了, SYS 租户的资源规格不要太低,建议不低于 8C16G 。另外创建一个 ORACLE 租户规格,把 集群节点资源尽可能用尽,租户拓扑 3-3-3 或 4-4-4 。
  2. OB 集群参数 memstore_limit_percentage 从 50 调整到 70 ,尽量扩大 memstore 内存。(如果 OMS 提供了旁路写入的功能,并且如果使用旁路导入的话,那就不要扩大 memstore 内存,而应该反过来降低一部分。 )
  3. OB 租户参数 writing_throttling_trigger_percentage 从默认值 60 增加到 90, freeze_trigger_percentage 从默认值 20 调整到 70。最大化租户内存memstore 部分的写入能力。
  4. OMS 使用独立的服务器部署,资源规格尽可能大(CPU和内存不低于 32C128G),这样迁移的效率才有可能大。
  5. 先找几个不算很大也不小的表进行 OMS 迁移测试,多练练,熟悉一下 OMS 的问题。否则,后面 55T 数据如果报错重来,代价有点高(浪费时间)。
  6. 有大对象的表迁移会非常的慢,尽量单独一个任务迁移。避免一两个表拖慢整个迁移任务。
  7. 如果迁移的表很多,尽量按业务模块分开迁移。跟前面同理,一起迁移的话很可能被个别表拖累(个别表可能会报错)。
  8. oracle 端读取不要有瓶颈(cpu或io),如果有,那 OMS 和 OB 端的优化意义就不大了。
  9. 网络上不要有瓶颈。ORACLE的网卡速率、网络中间设备的速率和吞吐量等。迁移连接 OB 直接访问 ODP,不要经过 网络负载设备(大批量的数据传输走负载设备,浪费性能和时间)。
  10. ORACLE 端redo 和归档日志保留空间留足。否则OMS全量迁移结束时搞增量同步,可能找不到日志了。
  11. 做好持久战的心理准备。55T 数据,OMS 传输一定会有失败的情形(各种意想不到的原因),失败了及时处理。报错了如果购买了维保,就提工单;同时也可以在论坛上发积分贴。
  12. 有些静态的 ORACLE 大表,可以用 sqludlr2导出为 csv文件,然后用 obloader 导入到 OB 中,使用旁路导入功能,效率和成功率比 OMS 要高很多。

参考: 从ORACLE/ MySQL到OceanBase:数据导出&导入 (qq.com)

3 个赞

你这个都用Oracle租户了,直接让企业版的维保人员搞,自己盯着切数据源就行了

你好,你提的这个技术问题牵涉到OceanBase企业版范围内的功能细节;针对此类问题,建议你通过以下方式寻求帮助:

  1. 如你所在的企业客户已签署OceanBase企业版销售合同,请你联系客户经理;

  2. 如你所在的企业客户尚未签署OceanBase企业版销售合同,你可通过OceanBase官网商务咨询页面留下你的联系方式,OceanBase企业版的业务顾问会在一个工作日内与你联系。

另外,我们欢迎你使用社区版,并在论坛/社群中分享你对社区版本的想法、经验和问题,与其他社区成员共同交流。

看下我写的这篇,能帮到您吗, oms实战配置(小白易上手)-数据库技术博客-OceanBase分布式数据库