【 使用环境 】生产环境
【 OB or 其他组件 】ob服务端为4.3.5版本
【 使用版本 】4.3.5版本
【问题描述】使用DataX 的oceanbasev10writer写入插件,采用的jdbc连接,写入数据过程中,出现异常报错,报错信息为 (conn=2449035)Connection reset或者Connection is closed ,每天会有成功的任务,但是也有失败出现异常的情况,请问这是哪里的问题?并且如何尝试解决这个问题?请给与指导
【复现路径】问题出现前后相关操作
【附件及日志】
【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试,在发帖时输入 [@论坛小助手] 即可召唤小助手,欢迎试用!
论坛小助手
#3
针对您提到的“使用DataX的OceanBaseV10Writer写入插件通过JDBC连接写入OceanBase 4.3.5版本的数据过程中,出现了(conn=2449035)Connection reset或者Connection is closed的异常报错,每天有成功也有失败的任务”的问题,我们可以从网络连接稳定性、数据库配置和应用层逻辑等方面进行排查。首先推荐您使用 obdiag 工具进行日志采集和根因分析,以便更好地定位问题。
根因分析场景: 针对断链接场景的根因分析
根因分析命令: obdiag rca run --scene=disconnection
日志采集场景: 集群基础信息
日志采集命令: obdiag gather scene run --scene=observer.base
请您执行上述命令进行日志采集与根因分析,完成后将生成的日志文件发送给我们。同时,为了进一步了解您的具体情况并提供更有效的帮助,请回答以下问题:
- 能否提供具体的异常报错日志?
- 使用DataX写入OceanBase时,任务的具体配置参数是什么样的?
- DataX写入OceanBase时,是否存在并发写入操作?如果有,请说明并发量大小。
- OceanBase的连接池设置是怎样的?是否有超时时间或重试机制的相关配置?
- 您的OceanBase实例是否在云环境中运行?如果是,请提供云服务提供商和相关环境配置信息。
- OceanBase实例是否经常达到高负载状态?例如,CPU使用率、内存使用情况等。
- 网络环境如何?特别是DataX与OceanBase之间的网络延迟和丢包情况。
以上信息将有助于我们更加准确地分析和解决问题。感谢您的配合!
附上敏捷诊断工具 obdiag 使用帮助链接
1 个赞
辞霜
#4
看一下ob_query_timeout和 ob_trx_timeout变量设置大小
1 个赞
辞霜
#8
obproxy版本是多少,Connection reset或者Connection is closed这种情况可能是网络抖动导致。需要抓包排查。失败的任务insert数据量大么
1 个赞
旭辉
#12
你将报错时间点附近的obproxy.log,obproxy_error.log,observer.log 压缩发下