通过flink创建ob到mysql的任务会导致内存占用极大导致ob挂掉

【 使用环境 】 测试环境
【 OB or 其他组件 】flink
【 使用版本 】4.1.0
【问题描述】清晰明确描述问题 ob是通过docker安装的测试用的,开启了logproxy,现在通过flink创建了多个同步任务后,内存占用较大最后会导致ob挂掉如图所示。

请问这些可以调小占用资源吗?
【复现路径】问题出现前后相关操作
【问题现象及影响】

【附件】

目前暂时没有直接的手段来限制 oblogproxy/logreader 使用的资源,类似的管控能力目前规划在即将发布的 binlog service 中。

那我们这个问题如何解决呢? 不可能无线扩容内存来保障任务的运行吧? 后续我们可能需要ob支撑几百上千的任务量。

我理解你说的内存占用问题应该是指的 oblogproxy 而不是 oceanbase 集群。

目前 oblogproxy 的任务进程 oblogreader 的资源占用是没办法做限制的,不过 libobcdc 有一些参数能够通过限速来一定程度上控制内存使用,只是这些参数要在 flink cdc 中使用的话,需要等这个 pr 合并进去,或者您先自行打包来使用 [oceanbase] add option for obcdc extra configs by whhe · Pull Request #2543 · ververica/flink-cdc-connectors · GitHub

还有一种方式,就是 oblogproxy 也用 docker 部署,通过限制 docker 容器的内存和磁盘来实现。

目前我长期维护了一个 docker 镜像仓库,需要的话可以用这个 https://hub.docker.com/r/whhe/oblogproxy