OMS 增量同步的延迟该看哪个指标？容器重启后位点是怎么保证不丢的

OceanBase 技术问题
#1

使用版本】OMS 4.x + OceanBase 社区版 V4.2.x

【问题描述】

  1. 增量同步阶段，OMS 通过什么机制记录同步位点（store 组件落盘？）？如果 OMS 容器意外重启，是从最后一个已提交位点续传，还是可能出现重复同步？下游需要做幂等吗？
  2. 延迟监控具体看哪个指标？如果目标端写入跟不上导致延迟持续上涨，调优应该从哪几个方向入手（并发度、batch size、目标端资源、还是分区并行度）？
  3. 全量迁移切增量的那个瞬间，怎么验证没有数据丢失？OMS 自带的数据校验能到什么粒度（行数 / 内容校验和 / 抽样）？
  4. 结构迁移时遇到不兼容的 DDL（比如 Oracle 特有语法往 MySQL 模式迁），OMS 是直接报错还是跳过？怎么提前评估兼容性？
#3

@论坛小助手

#4

OMS 增量同步的延迟及容器重启后位点保障

根据您提出的问题，我将从以下几个方面进行详细解答：

1. 延迟监控指标

  • 增量同步的延迟：主要关注的是数据源端的变更到目标端的滞后时间。在OMS社区版中，可以通过查看延迟这个指标来了解当前的同步延时情况。该指标表示了从源端增量变更被同步至目标端的滞后时间，单位为秒。此信息可在“增量同步性能”区域实时展示。(文档片段 2)

2. 容器重启后的位点保障

  • OMS 在增量同步过程中，通过Store组件记录拉取到的位点，并确保这些位点信息能够落盘保存。这意味着即使OMS容器意外重启，它也可以从最后一个已提交的位点重新开始同步，而不会导致位点丢失。

  • 如果 Store 的位点基本是实时更新的但其他组件如 Connector 或 JDBCWriter 出现延迟，则需要分别检查这些组件的日志以确定具体问题。此外，若无法明确错误原因，请将相关现象和日志反馈给技术服务人员获得进一步支持。（文档片段 1, 文档片段 3）

  • 下游是否需要实现幂等性取决于具体的业务场景。对于唯一约束表，OMS 通过主键操作的幂等性保证一致性；而对于无主键表，则采用事务表机制防止重复处理。因此，在大多数情况下下游不需要特别考虑幂等控制，除非有特殊需求。（文档片段 10）

3. 延迟调优方向

  • 当目标端写入速度跟不上导致延迟持续增长时，可以从以下几方面尝试优化：
    • 并发度：增加Incr-Sync组件的并发度可以提高处理速度，但这同时要求有足够的资源支持。
    • Batch Size：调整批量处理大小也可能影响性能，较大的批次能减少I/O开销，但也可能增加内存使用。
    • 目标端资源配置：确保目标数据库拥有充足的计算资源（CPU、内存）以及良好的网络条件。
    • 分区并行度：如果适用的话，利用多分区并行处理数据也能显著提升效率。

4. 全量迁移切换至增量时的数据完整性验证

  • 在全量迁移完成后转为增量模式之前，理论上不应该存在未同步的数据。然而，为了安全起见，建议执行一次手动对比两边系统的最新状态。OMS 提供的数据校验功能目前仅限于表级别的行数统计或内容校验和比对，并不支持自动化的抽样检验。用户可以根据实际需求自行编写脚本进行更细粒度的核对。（文档片段 4）

5. 结构迁移遇到不兼容 DDL 的处理方式

  • 遇到源端与目标端之间存在DDL语法差异的情况时，OMS 社区版通常会直接报错而非自动跳过不兼容的部分。为了提前评估这种兼容性问题，您可以先利用OMS预检功能来扫描潜在的风险点，然后手动修正或绕过那些不可直接转换的对象定义。

希望以上回答能够帮助您解决当前面临的问题。如有更多疑问或需进一步探讨，请随时提问！

检索到的文档如下:

  1. oms_sync_delay 同步任务延迟
  2. 查看数据同步任务的详情
  3. oms_migration_delay 迁移任务延迟
  4. 通过 OMS 进行数据迁移和同步
  5. 为 MySQL 数据库开启 Binlog
  6. 查看机器日志
  7. 创建 OceanBase 社区版至 RocketMQ 的数据同步任务
  8. 内存和磁盘要求
  9. 组件基本原理