rocH
#1
【 使用环境 】生产环境
【 OB or 其他组件 】OB、OCP、OMS
【 使用版本 】OB4.4.2
【问题描述】
源库、目标库机器配置和网络环境一致。
总数据量1.7T。
用OMS进行全量+增量同步。全量得12小时。 然后增量追不追的上看人品。。。
备租户同步。基于归档同步。下午1点开始。全量只需要3小时+。 到下午4点增量目前延迟已经追到了2小时20分钟
本来想同步一个 全能型备库给数据分析用。 同步成列存表、然后数据分析后,直接插入同租户其他数据库表。 奈何oms同步不给力。 增量经常追不上。
4 个赞
rocH
#3
@论坛小助手 怎么样让OMS同步能有 OCP同步备租户一样的性能
论坛小助手
#4
备租户同步与OMS(OceanBase Migration Service)在实现机制和适用场景上存在显著差异,这导致了两者在性能表现上的不同。\n1. 实现机制:"mathjax:\1. 实现机制:\n* 备租户同步基于数据库内置的复制机制,直接利用日志传输和应用来完成数据同步。这种方式更贴近于原生的主从复制技术,在效率和延迟方面有天然优势。特别是对于同构环境下的同步任务,例如OceanBase数据库之间的同步,可以达到较高的速度。\\n* OMS作为一个通用的数据迁移服务,支持多种异构数据源之间的结构迁移、全量及增量数据迁移/同步等复杂操作。它通过一系列独立组件(如DBCat用于结构转换、Store负责增量拉取、Full-Import处理全量导入等)协同工作来实现上述功能。由于需要处理更多种类的任务以及进行额外的数据转换和验证步骤,因此在相同条件下可能会比单纯使用数据库内部复制方式慢一些。\\n2. 适用范围:\n* 备租户主要用于同一类型或高度兼容的数据源之间建立高可用性副本,适合对实时性和一致性要求非常高的场景;而OMS则适用于跨平台迁移、大规模数据转移等更为广泛的应用场合。\\n针对您遇到的问题——即希望获得类似于OCP(OceanBase Cloud Platform)管理下备租户那样的快速同步体验,可以通过以下几种方法尝试优化OMS性能:\\n- 确保网络带宽足够,并尽量减少传输过程中的瓶颈;\\n- 检查并调优源库与目标库的硬件资源分配,确保它们能够为OMS提供充足的支持;\\n- 调整OMS配置参数以适应您的特定需求,比如增加并行度设置或者修改批处理大小等;\\n- 如果可能的话,考虑将部分非关键业务逻辑转移到目标端执行,减轻OMS负担。
更多信息请查看:
- 分层功能体系
- 创建备租户前准备
3 个赞
文中对OceanBase的分析很到位,补充一点:结合实现机制和备租户同步和OMS差别在哪可以获得更好的效果。
一个是mysql主从,一个第三方数据同步工具比如apache flink或者seatuunal