Flink cdc + oblogproxy + ob系列问题咨询

【 测试环境 】
【 OB 】
【 4.2.1】
【问题描述】
flink cdc并发很大的情况下,现在发现oblogreader进程已经断了,但是flink仍然在读取存量数据,这个正常吗

并发很大是说全量开了很多线程?进程退出肯定是不正常的,不过 checkpoint 会保存读取完成的位点信息,重启任务应该就可以了。

我是这样想的:存量数据可以不通过oblogreader 而是通过obproxy读取,到读增量数据的时候会开始报错,是这样吗 并发大是指flink cdc那块起的线程数大

这样理解有问题吗

全量是通过 obproxy 查表直接读取的,这点不会错,增量是通过 oblogproxy 进行读取的,也不会错。
但是读全量之前要先启动增量,否则数据就丢失了,增量先启动以后,并没有写入到下游,而是先缓存起来,等全量数据写入下游之后,再继续写增量数据。

这边观察到的现象是,启动了增量的oblogreader,但是进程断掉了,然后flink任务继续读存量数据,等存量数据读完之后任务从running变为finished

大佬,能控制logreader进程的内存限制吗,避免操作系统kill

目前是没有。

那有什么办法能保证稳定性么

用的是什么版本的oblogproxy?

最新版本的 2.0.0

进程 core 掉是因为什么?发一下日志?