筱虫
2024 年6 月 21 日 10:14
#1
【 使用环境 】生产环境
【 OB or 其他组件 】OMS
【 使用版本 】
OB OceanBase_CE 4.2.1.4 (r104000052024022918-3246b00b20dbd0cf1e1bef4b67fd31ff8fe7088f) (Built Feb 29 2024 18:36:40)
MySQL 5.7.1
【问题描述】
同一个租户,因为表过大,同时起了三个同步链路,同步3组表,每个同步链路的增量拉组件的延时一直很高,RPS看有时候是0,有时候不到5000,部分cdc日志和store延迟
text.log (293.4 KB)
【复现路径】
2 个赞
淇铭
2024 年6 月 21 日 11:30
#5
麻烦找一下增量拉取的日志 /home/ds/store/store{port}/log 并上传一下
1 个赞
刘彻
2024 年6 月 21 日 14:30
#7
store看上去是流控了,下面几个参数看一下
liboblog.working_mode=memory
#调大
liboblog.ready_to_seq_task_upper_bound=120000
#调大
liboblog.dml_parser_thread_num=10
#调大
liboblog.formatter_thread_num=20
增量writer的,尝试一下调整并发、和内存
1 个赞
刘彻
2024 年6 月 21 日 14:45
#9
NEED_SLOW_DOWN=1 PAUSED=1 MEM=15.11GB/8.00GB 这个内存超了
memory_limit 这个参数调大
1 个赞
刘彻
2024 年6 月 21 日 14:47
#10
在liboblog 这个下面加个一
liboblog.memory_limit值设定为20G
1 个赞
刘彻
2024 年6 月 21 日 15:18
#12
停了之后去oms容器中查看一下进程是否还在,如果还在kill,确认进程没有了再启动
筱虫
2024 年6 月 21 日 15:22
#15
congo_0的日志只到这
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:591 38897,966584064] load config key:timezone value:+08:00
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:591 38897,966584064] load config key:working_mode value:=memory
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:partition is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:hbase2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:oracle2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:deliver2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:unit is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:db2tostore is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:577 38897,966584064] Config of sectionnames:logproxy2store is empty
2024-06-21 15:20:45 [NOTICE] [StoreManager.cpp:834 38897,966584064] succeed to init record sent log with log.sent.record=0, log.sent.record.users=, log.sent.max.files=50
其它文件没有日志更新
1 个赞
筱虫
2024 年6 月 21 日 15:24
#17
ds 38897 1 3 15:20 ? 00:00:07 ./bin/store -c /home/ds/store/store7100/conf/stores.conf
1 个赞
刘彻
2024 年6 月 21 日 15:26
#18
看一下日志有没有更新,没有更新的话,kill -9了
再确认ps -ef|grep 7100,确认进程不再了之后,去oms页面中,启动
1 个赞