【 使用环境 】 测试环境
【 OB or 其他组件 】OMS
【 使用版本 】4.2.9_CE
【问题描述】 使用 OMS 配置 PGtoOB 的增量同步任务时, 在源数据某个表发生大量数据改变,但是不是当前增量同步对象时,会导致增量拉取组件的延迟时间无限制增加,直到告警。
- 源端 postgresql 的一个事务会先对某个已开启逻辑复制但是不在当前增量同步任务的表中做大量 update,比如 60W 然后再update增量同步中对象表的某些数据。然后再次大量数据插入那个已开启逻辑复制但是不在当前增量同步任务的表,比如 60W ,再update增量同步中对象表的某些数据。
- 只要发生这样的操作,必定会导致增量拉取组件延迟无限增加,但是不会有任何数据写入到目标对象中。
- 配置为 4 读 4 写,JVM 4~8G。
- 在增量中已设置参数
useBetaListener=true
useSchemaCache=true - ./connector_utils.sh diagnose 显示 可能存在源端投递数据瓶颈
- ./connector_utils.sh metrics 只有 source 的 delay:1355564ms 这个异常,其他都是 0,heap:1376M/7782M,noHeap:54M/488M threadcount:21,cpu:0.151 syscpu:10.491