oms迁移同步数据增量同步时间延迟问题

我使用oms社区版4.2.2,oceanbase集群4.2.1.4版本
问题1:我使用mos的迁移来同步ocenabase数据到mysql里面去,我的oceanbase集群在北京,mysql集群在上海,我想知道我的增量同步时间延迟是多少,显示是秒级别,能不能看到具体的延迟时间呢?,我的延迟增量同步怎么这么长,都到6分钟了,这个有问题吧,我就是5张表,每张表并发写了5万条数据
问题2:我选择结构迁移、增量同步、全量校验的时候,为什么我一段时间源端不写入数据,一段时间后一直在全量校验呢,这会怎么不增量同步了呢

问题1:跨地域同步一般需要将OMS部署成多地域的,北京和上海个一个节点,新建数据源时根据实际情况来选择数据库所在地地域(OMS节点和数据库同属一个地方),这样才能达到增量同步最快,但具体是否能够达到秒级还需要看网络和具体增量数据大小

问题2:具体能否截图看一下,增量同步起来之后不会停止的除非碰到异常,全量校验也不会一直在校验的

1 个赞

我只有在北京有机器,所以不能多低于部署,至于我测了下,我在几秒钟5张表5个线程每个线程5万数据在几秒钟写到源集群中,完全同步完需要8分钟左右,5张表5个线程每张表2万数据几秒钟写到源集群,完全同步完大概需要3分钟,这个时间是不是太长了呢

https://www.oceanbase.com/docs/community-oms-cn-1000000000707455
根据这个看一下性能瓶颈在哪

这个同步延迟时间是不是得算上增量拉取组件加上增量同步的时间,比如增量拉取组件是20s,增量同步时间是1s,这个是21s吧,在日志中没有看到瓶颈在哪里,文档上的内容如图1,我的内容是图2,诊断内容字段都不一致啊


延迟发生的时候,看通过 查看组件监控 看一下各个组件的延迟情况,增量的情况store 和 增量组件 需要看一下是哪个组件有延迟

Incr-Sync组件,执行./connector_utils.sh diagnose命令诊断下面显示,这种如何优化呢
[Scene] StoreParserSlowScene
prev:source.useBetaListener=null
post:source.useBetaListener=true
affect:使用 LogMessage 加速解析,减少中间对象
comment:加速解析
prev:source.useSchemaCache=null
post:source.useSchemaCache=true
affect:使用 Schema 缓存,减少中间对象
comment:使用 Schema 缓存

source.useBetaListener=true
source.useSchemaCache=true

这个使用控制面怎么加呢,同时如果我还是北京迁移同步到上海,我的oms在北京和上海都有,这个速度会快多少呢,我看文档说是会就近启动oms增量同步组件是吧

查看组件监控-更新

多地域部署情况实际测一下才知道