【 使用环境 】生产环境
【 OB or 其他组件 】Binlog组件(v4.3.5)、OB(4.2.1.9)、OBProxy(v4.2.3)
【 使用版本 】nifi 1.23版本
【问题描述】源端 OceanBase MySQL 模式数据库,使用Nifi同步增量数据至下游,源版本4.0.1,由于版本较老,客户环境时常会出现OBProxy not connect binlog service报错,目前已进行了版本升级至4.3.5,观察一天后业务侧发现nifi日志有大量刷新BinaryLogClient was unable to connect in 30000ms,目标租户binlog主实例日志中也记录error 104(连接被对方重设)报错。需要协助帮忙看下具体原因。
【复现路径】本地环境无问题,nifi使用的1.28版本。
【附件及日志】
Nifi日志:
binlog 实例日志:
OBProxy error日志:
OBProxy diagnosis.log日志:
binlog 社区版本:
论坛小助手
2026 年11 月 18 日 13:07
#4
问题分析
根据您提供的日志和错误信息,我注意到几个关键点:
Nifi日志 :显示了大量关于BinaryLogClient无法连接到binlog服务的错误。例如:
2026-11-18 12:24:28,467 ERROR [Timer-Driven Process Thread-62] 0.a.n.c.m.processors.CapturechangeMySQL CaptureChangeMySOL [id=1dfb1ade-1485-1307-7e04-dfedd4e43b18] Exception during event Processing at file=mysql-bin.006344 pos=103671113
这些错误表明Nifi在尝试解析binlog事件时遇到了连接问题。
OBProxy日志 :显示了一些连接被重置(connection reset by peer)的错误。例如:
2026-11-18 30.036582 [warning] io.cpp(42): Failed to write, fd: 87, size: 87, error: 104(E) Connection reset by peer
2026-11-18 30.036694 [error] binlog_dumper.cpp(345): [7eade2efddidf6ab3f94#3974159e2] [OBI] [root@sczhzx#action_nr,action_nr,sczhzx]10.121.17.220:8100-10.121.17.222:30018/87: Failed to send packet, error: 104(Connection reset by peer)
Binlog实例日志 :显示了一些关于binlog文件的检查点和结束位置的信息。虽然这些日志没有直接显示出连接问题,但它们可以提供一些上下文帮助理解binlog的状态。
可能的原因及解决方案
网络问题 :
检查源端OceanBase和Nifi之间的网络连接是否稳定。
确保没有防火墙或其他网络设备阻止Nifi与OceanBase的通信。
配置问题 :
确认OBProxy和Nifi的配置是否正确。特别是检查Nifi中用于连接OBProxy的配置项,如IP地址、端口等。
确保OBProxy的版本与OceanBase的版本兼容。您的环境中使用的是OBProxy 4.2.3 和 OceanBase 4.2.1.9,应该没有版本不兼容的问题。
资源限制 :
检查OBProxy和Nifi的资源使用情况(如CPU、内存)。如果资源不足,可能会导致连接问题。
调整OBProxy的参数,如max_connections、timeout等,以适应更高的并发连接数。
日志级别 :
增加OBProxy的日志级别,获取更多详细的日志信息,以便更好地诊断问题。
具体步骤
检查网络连接 :
检查配置文件 :
检查Nifi中的配置文件,确保指向正确的OBProxy地址和端口。
检查OBProxy的配置文件,确保其正确配置了binlog服务。
调整OBProxy参数 :
查看详细日志 :
在OBProxy中启用更详细的日志记录,以便更好地捕获连接失败的具体原因。可以通过修改OBProxy的配置文件来调整日志级别。
总结
通过以上步骤,您可以逐步排查和解决Nifi与OceanBase之间同步增量数据时遇到的连接问题。如果问题仍然存在,建议联系OceanBase的技术支持团队,提供更多详细的日志和配置信息,以便进一步诊断和解决问题。
OBProxy client_max_connections = 8192
Nifi 主机 至 目标主机 5506端口网络连通性无异常,但在故障时间点系统日志/var/log/messages 中存在binlog 索引临时文件无法打开的报错,是否与解析异常有关。
论坛小助手
2026 年11 月 18 日 13:34
#7
问题分析与解决方案
根据您提供的信息,生产环境中使用 NiFi 工具从 OceanBase MySQL 模式同步增量数据时遇到频繁的空指针或解析 binlog 事件异常的问题。具体报错包括 OBProxy 无法连接到 binlog 服务以及 Nifi 日志中的 BinaryLogClient was unable to connect in 30000ms 和目标租户 binlog 主实例日志中的 error 104 (connection reset by peer)。
分析
OBProxy 无法连接到 binlog 服务 :这可能是因为 OBProxy 配置不当或网络问题导致 OBProxy 无法正确连接到 OceanBase 的 binlog 服务。
Nifi 连接超时 :BinaryLogClient was unable to connect in 30000ms 表示 Nifi 在尝试连接 OceanBase binlog 服务时超过了 30 秒的时间限制。
连接被对方重设 :error 104 (connection reset by peer) 通常表示连接在服务器端被意外中断,可能是由于服务器重启、网络故障或其他原因。
解决方案
检查 OBProxy 配置
确保 OBProxy 的配置文件中正确指定了 binlog 服务的相关配置。可以参考 OceanBase 文档 中关于 OBProxy 的配置说明。
检查 OBProxy 的日志文件,查找具体的错误信息。特别是检查是否有网络相关的错误,如连接超时或拒绝连接等。
网络稳定性检查
检查 OBProxy 与 OceanBase 之间的网络连接是否稳定。可以使用 ping 或 telnet 命令测试网络连通性。
如果网络不稳定,建议联系网络管理员进行排查。
调整 Nifi 的连接超时设置
监控和日志分析
开启详细的日志记录,以便更好地捕获和分析错误信息。可以在 OBProxy 和 Nifi 的配置文件中启用更详细的日志级别,如 DEBUG。
使用监控工具(如 Prometheus 和 Grafana)监控 OBProxy 和 Nifi 的运行状态,及时发现并处理问题。
版本兼容性
虽然已经升级了 OBProxy 和 OceanBase 的版本,但仍然需要确保所有组件之间的版本兼容性。建议参考官方文档中的版本兼容性矩阵。
如果上述步骤仍不能解决问题,建议联系 OceanBase 的技术支持团队,提供详细的日志文件和配置信息,以便进一步诊断和解决。
希望这些信息对您有所帮助!如果还有其他问题,请随时告诉我。
详情请参考:
SHOW
淇铭
2026 年11 月 18 日 13:45
#8
把obproxy的日志和binlog的日志发出来看看
客户这边日志要审计,我先看下能不能取。目前我新建了一个binlog1备实例,发现messages日志也是每秒刷新 clog :failed to get the magic info headinfo: ASCII text。想咨询下,我们binlog服务是否会用到binlog tmp文件,另外这类报错是binlog cdc的问题,还是和系统层面有关。binlog版本升级前也有大量这类报错。
binlog logproxy.log日志:
没有异常的日志,实例检测也都能访问。
Nifi 端在binlog升级后会报空指针,看报错像是解析位点异常:
淇铭
2026 年11 月 18 日 14:03
#10
怎么看着binlog实例版本不一致呀
直连 Binlog Service 验证(绕开 NiFi)
mysql -h<binlog_service_ip> -P2983 -u... -p...
SHOW BINLOG SERVER FOR TENANT `集群`.`租户`;
SHOW MASTER STATUS; -- 经 ODP 连业务租户多试几次
确认是否混版、谁是主
SHOW BINLOG INSTANCES;
SHOW BINLOG STATUS;
没有报错时间的logproxy.log obproxy.log libcdc.log日志 不好判断
binlog服务升级后做了主备binlog实例切换,配合业务验证,目前只升级了一台binlog实例,其他的还是用的老版本。action_nr.sczhzx 租户当前主实例17.220:8100
使用命令行访问执行show master status可以获取binlog位点信息
是的,用数据库管理工具和mysql命令行查询都正常,只有nifi访问有问题。这个是驱动和相关配置,没有启用gtid方式获取增量日志。
淇铭
2026 年11 月 18 日 14:35
#14
那你把nifi访问的odp的日志 OBProxy_error OBProxy.log OBProxy_ diagnosis日志发一下看看 日志图片清楚些
淇铭
2026 年11 月 18 日 14:41
#15
在 NiFi 所在机器上:
–端口要对成 5506(你之前 telnet 过 5906,那是另一个口)
mysql -h10.121.17.225 -P5506 -uroot@sczhzx#action_nr -p -e “SHOW MASTER STATUS;”
看着报错和你配置的Max Wait Time=30 seconds 完全一致呀
OBProxy相关日志:
20261118日志.7z (21.3 MB)
Nifi日志:
nifi-app.log (7.8 MB)
淇铭
2026 年11 月 18 日 14:54
#17
NiFi 能连上 10.121.17.225:5506,但从缓存位点
mysql-bin.006344 / 103670647 开始消费后,在 pos=103671113 必现 NPE → 断开 → 位点不前进 → 再连同一点 → 主实例侧大量 error 104;部分重连挤兑后变成 30000ms 超时。
淇铭
2026 年11 月 18 日 14:59
#18
后续的处理的话 停任务 → 清掉卡死位点 → 从当前主位点重拉 → 单任务验证。
我这边在Nifi上CaptureChangeMySQL处理器调整下驱动类名,把com.mysql.jdbc.Driver调整成com.mysql.cj.jdbc.Driver,兼容8.0.21 jar包,重启任务,报错暂时消除了,我再观察一下看看
老师, NPE → 断开 → 位点不前进 → 再连同一点 → 主实例侧大量 error 104 ;部分重连挤兑后变成 30000ms 超时。这个现象和数据库侧最大连接数有关吗,目前OBProxy 客户端最大连接数默认配置8192,数据库没有限制。
老师,另外,还有一个问题,为什么messages系统日志里,一直在大量刷新实例 clog: failed to get the getMagicDetailByFile file: /home/ds/oblogproxy…mysql-bin.index.tmp,这个是什么原因触发的