oms store 拉取时间从1970-01-01开始

源端ob版本 4.2.1.1 ,通过oms ( 4.2.3) 同步到 ob,
现在遇到的问题:
物理怎么新建链路,store的拉取时间都是从1970-01-01开始,运行一段时间之后就报oom,store的内存设置了32G

image


链路的配置,以及启动日志如附件所示
libobcdc.zip (1.5 MB)
libobcdc.conf.txt (6.6 KB)

新建的时候就是这样,过一会就好了

一直oom起不来

oom的原因是:OB 4.x 全租户 schema 基线(3 万+ 表)+ 高预分配 + 需回补约 9 小时 SYS 日志。 虽然tb_white_list 只配了 32 张表,OB 4.x 的 Data Dictionary 机制仍会先加载整个租户的元数据:
日志中 table_meta 共 34,128 条, 租户 hws 下有大量 database(hws_render_* 等),白名单只过滤后续 DML,不能减少基线阶段的内存占用。
新建链路:起始时间用当前时间、配好白名单、降低预分配、清理旧 store 数据后再启动。
1、OMS 创建增量链路:

  1. 同步类型选 增量
  2. 起始位点选 当前时间(不要选 0、不要选手动填 1970)
  3. 表过滤在创建时配好(你这边已是 32 张 queueok* 表)
    2、libobcdc 内存与预分配调优
    –降低预分配,减少启动即占内存
    binlog_record_prealloc_count=50000
    log_entry_task_prealloc_count=20000
    part_trans_task_prealloc_page_count=5000

– 如仍 OOM 再考虑加大
memory_limit=48g
tenant_manager_memory_upper_limit=8G