数据备份任务失败-4009(IO error)

OceanBase 技术问题
,
#1

测试环境社区版4.3.2
问题详情：
数据备份任务失败
告警详情：集群：obd，租户：imc2[1008]，告警：数据备份任务失败，任务结束时间：2025-02-27 04:00:51.41133，当前时间：2025-02-27 06:30:28.339759, 服务IP：172.18.90.152,172.18.90.153,172.18.90.154，错误信息：(ROOTSERVICE)addr: 172.18.90.154:2882, result: -4009(IO error), trace_id: YB42AC125A9A-00062C0C81BF679B-0-0。
查看日志无任何有用信息
rootservice.rar (2.5 MB)
附件为日志文件

#3

IO error 一般是磁盘无法访问，如果使用nfs 试着先检查nfs目录是否可用，简单测试下性能看看：
fio -filename=/data/nfs/fio_test -direct=1 -rw=randwrite -bs=2048K -size=100G -runtime=300 -group_reporting -name=mytest -ioengine=libaio -numjobs=1 -iodepth=64 -iodepth_batch=8 -iodepth_low=8 -iodepth_batch_complete=8

#4

NFS正常，磁盘IO检测正常，请问具体的日志需要在哪里看

#6

没有看到这个trace_id相关的日志，这个时间2025-02-27 04:00:51附近的日志还在吗？

trace_id: YB42AC125A9A-00062C0C81BF679B-0-0

#7

今天又报错，告警概述：alarm_template_id=0:ob_cluster=obd:tenant_name=imc2 数据备份任务失败

告警详情：集群：obd，租户：imc2[1008]，告警：数据备份任务失败，任务结束时间：2025-02-28 08:57:49.927388，当前时间：2025-02-28 09:03:28.078826, 服务IP：172.18.90.152,172.18.90.153,172.18.90.154，错误信息：(ROOTSERVICE)addr: 172.18.90.154:2882, result: -4009(IO error), trace_id: YB42AC125A9A-00062C0C81BF76BD-0-0。

附件为日志trace_id: YB42AC125A9A-00062C0C81BF76BD-0-0。包含
observer.rar (5.3 MB)

1 个赞
#8

这种先检查下nas盘是否能写，集群节点是否都挂载nas盘，属主是否正确呢

#9

observer version: OceanBase_CE 4.2.4.0, revision: 100000082024070810-556a8f594436d32a23ee92289717913cf503184b

[2025-02-28 08:57:50.161684] INFO  [SERVER] execute_write_inner (ob_inner_sql_connection.cpp:1680) [8208][EvtHisUpdTask][T0][Y0-0000000000000000-0-0] [lt=22] execute write sql(ret=0, tenant_id=1, affected_rows=1, sql=INSERT INTO __all_rootservice_event_history (gmt_create, module, event, name1, value1, name2, value2, name3, value3, name4, value4, value5, value6, rs_svr_ip, rs_svr_port) VALUES (usec_to_time(1740704270153388), 'backup_data', 'deal with failed job', 'tenant_id', 1008, 'job_id', 2470, 'result', -4009, 'trace_id', 'YB42AC125A9A-00062C0C81BF76BD-0-0', '', '', '172.18.90.154', 2882))

这个时间的2025-02-28 09:03:28 rootservice.log 也麻烦发下

#10

这个备份是最近才出现失败的吗？查下备份历史

select * from CDB_OB_BACKUP_JOB_HISTORY order by START_TIMESTAMP;