OMS store增量拉取时延高,RPS低

【 使用环境 】生产环境
【 OB or 其他组件 】OMS
【 使用版本 】
OB OceanBase_CE 4.2.1.4 (r104000052024022918-3246b00b20dbd0cf1e1bef4b67fd31ff8fe7088f) (Built Feb 29 2024 18:36:40)
MySQL 5.7.1
【问题描述】
同一个租户,因为表过大,同时起了三个同步链路,同步3组表,每个同步链路的增量拉组件的延时一直很高,RPS看有时候是0,有时候不到5000,部分cdc日志和store延迟

text.log (293.4 KB)

【复现路径】

2 个赞


查看一下 组件监控

1 个赞

2 个赞

麻烦找一下增量拉取的日志 /home/ds/store/store{port}/log 并上传一下

1 个赞

log.tar.gz (2.9 MB)

1 个赞

store看上去是流控了,下面几个参数看一下
liboblog.working_mode=memory
#调大
liboblog.ready_to_seq_task_upper_bound=120000
#调大
liboblog.dml_parser_thread_num=10
#调大
liboblog.formatter_thread_num=20

增量writer的,尝试一下调整并发、和内存

1 个赞

这几个参数,在store的配置里都没有

NEED_SLOW_DOWN=1 PAUSED=1 MEM=15.11GB/8.00GB 这个内存超了
memory_limit 这个参数调大

1 个赞

在liboblog 这个下面加个一
liboblog.memory_limit值设定为20G

1 个赞


改完以后这里起不来了。重启了也起不来

1 个赞

停了之后去oms容器中查看一下进程是否还在,如果还在kill,确认进程没有了再启动

没有用,KILL了还启动还是起不来

有没有错误日志?

congo_0的日志只到这

2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:591 38897,966584064] load config key:timezone value:+08:00
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:591 38897,966584064] load config key:working_mode value:=memory
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:partition is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:hbase2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:oracle2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:deliver2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:unit is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:db2tostore is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:logproxy2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:834 38897,966584064] succeed to init record sent log with log.sent.record=0, log.sent.record.users=, log.sent.max.files=50

其它文件没有日志更新

1 个赞

ps -ef|grep 7100

1 个赞

ds 38897 1 3 15:20 ? 00:00:07 ./bin/store -c /home/ds/store/store7100/conf/stores.conf

1 个赞

看一下日志有没有更新,没有更新的话,kill -9了
再确认ps -ef|grep 7100,确认进程不再了之后,去oms页面中,启动

1 个赞

操作过很多次了,不行

1 个赞

libobcdc.log呢,有没有更新?

除congo_0以外没有其它文件更新