oms增量迁移时,store组件调优求助

【 使用环境 】生产环境
【 OB or 其他组件 】OB、OMS
【 使用版本 】OB:4.3.4.1. OMS:4.2.9
【问题描述】
OMS机器:32C。128G
OB和OMS集群在同一内网。
目前增量迁移,受限于store拉取速度。延迟逐渐增加。
下面是对应的日志信息

看其他调优贴改过一下参数,但是没有用。而且运行一段时间后,store组件出现异常,进程停止了。

liboblog.working_mode=memory
#调大
liboblog.ready_to_seq_task_upper_bound=120000
#调大
liboblog.dml_parser_thread_num=10
#调大
liboblog.formatter_thread_num=20
iboblog.memory_limit=48G

1 个赞

看着应该是触发限流了,jvm内存设置多大?

jdbc内存设置?不是jvm吗。

不确定是哪个jvm。

store组件的 jvm参数在哪调整

image
jvm在这里调整

查看组件监控,截个图看下状态

image

这里好像是 Incr-Sync 组件配置的jvm参数。 内存设置的32GB~64GB


是这个地方

我在oms机器,执行iftop命令。发现从源端ip入网的带宽一会降低到1kb。一会升到800MB~1Gb。
猜测是哪个地方设置有瓶颈了。机器和网络性能都是够的。但是不知道是哪个参数限制了

store组件查看一下配置,看一下这个值是多少 liboblog.memory_limit

{
“store.queue.threadPoolSize”: “4”,
“store.drcnet.threadPoolSize”: “2”,
“liboblog.target_ob_region”: “default”,
“store.listeningPort”: “17000”,
“store.repStatus”: “master”,
“drc_frame.dbversion”: “4.3.4.1”,
“ob2store.master.timestamp”: “1761503290”,
“ob2store.parallelism”: “1024”,
“ob2store.collect_ddl”: “true”,
“store.useThreadPool”: “true”,
“ob2store.topic”: “OB_MYSQL_CE_np_775m4skpqm00_775m55iiatz4”,
“ob2store.master.host”: “1.1.1.1”,
“global.config.version”: “3”,
“liboblog.history_schema_version_count”: “16”,
“ob2store.error.level”: “WARN”,
“store.queue.forceIndexIter”: “1”,
“ob2store.master.binlog”: “”,
“liboblog.instance_num”: “1”,
“store.drcnetListenPort”: “17001”,
“store.writer.threshold”: “1”,
“ob2store.master.port”: “1”,
“drc_frame.log4cpp_category”: “log”,
“store.reader”: “on”,
“liboblog.progress_limit_sec_for_ddl”: “3600”,
“liboblog.instance_index”: “0”,
“ob2store.subId”: “0001000003”,
“ob2store.subTopic”: “OB_MYSQL_CE_np_775m4skpqm00_775m55iiatz4-1-0”,
“drc_frame.modules_path”: “./lib64/reader/ob-ce-4.x-reader”,
“liboblog.cluster_db_name”: “oceanbase”,
“liboblog.region”: “默认地域”,
“ob2store.pipeline”: “reset,read,parse,filter|consume”,
“liboblog.enable_output_invisible_column”: “1”,
“liboblog.enable_output_trans_order_by_sql_operation”: “1”,
“global.running.mode”: “strict”,
“store.writer.type”: “message”,
“drc_frame.log4cpp_cfg”: “./conf/logger.conf”,
“store.clearer.period”: “3600”,
“liboblog.sort_trans_participants”: “1”,
“liboblog.enable_output_hidden_primary_key”: “1”,
“ob2store.dbtype”: “oceanbase”,
“ob2store.serialize_pool_size”: “4”,
“store.client.wait”: “43200”,
“liboblog.tb_black_list”: “..delay_delete_|..DELAY_DELETE_”,
“ob2store.master.offset”: “”,
“liboblog.timezone”: “+08:00”,
“store.connection.numLimit”: “1000”,
“drc_frame.monitor_port”: “0”,
“liboblog.first_start_timestamp”: “1761636452000”,
“store.clearer.outdated”: “432000”,
“drc_frame.modules_name”: “ob2store”
}

没有这个参数,估计使用的默认值

把这个值调大一点看看,看日志当前这个值应该是8G。
没有这个参数就新加一个,liboblog.memory_limit=40G

可以看看这个:
全量/增量数据迁移性能调优-V4.2.10-OceanBase 迁移服务文档-分布式数据库使用文档



调整到40G后。
不动了。 但是看iftop还是有流量的

日志如下

这个没用,现在要调优的 是store组件。 不是 Incr-Sync/Full-Import

学习了了

进入oms容器, ps -ef | grep store71xx,把store kill掉之后再改参数重启试试


kill然后启动后。流量也有。但是这个拉取位点一直不动

image
如图从源端入网流量不少。位点就是不动