OceanBase 日志归档(日志备份)卡住

【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】observer-4.3.5
【问题描述】11月9日10:16分左右告警日志备份延迟超过900s,归档状态是DOING,但是时间一直卡在10:17:33。


【复现路径】问题出现前后相关操作
1.查询日志流状态发现有2个日志流卡在10:17分没有继续归档,状态也一直是doing;
2.平台点击暂定日志备份报错超时
3.手动执行关闭归档命令之后,日志流1 和 1001是stop,日志流1002和1003状态还是doing,停不掉。
4.最终通过循环重启3台observer,然后删除备份策略,重新创建新的备份策略恢复。

【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接(右键跳转查看):

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)
rootservice.log.20261109104219738.gz (17.1 MB)
observer.log.20261109101839334.gz (23.1 MB)
observer.log.20261109101704649.gz (27.6 MB)
observer.log.20261109101502185.gz (30.8 MB)

当前环境已恢复,麻烦老师看下日志里面能看到有什么异常点没有,如果能直接找到原因就更好了。

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试,在发帖时输入 [@论坛小助手] 即可召唤小助手,欢迎试用!

推荐使用 obdiag 工具进行日志采集,并且将采集到的日志提供给我们以便确认问题所在。
日志采集场景: 日志归档问题
日志采集命令: obdiag gather scene run --scene=observer.log_archive

此命令将会收集与日志归档相关的诊断信息,帮助我们更准确地定位导致您所遇到的问题的根本原因。请在您的OceanBase环境中执行上述命令,并将生成的日志文件打包发送给我们。

为了能够更快地找到解决方案,请帮忙提供以下一些额外的信息:

  1. 这个问题首次出现的时间点是什么时候?在这之前是否有对系统做出过任何更改或更新?
  2. 您能否分享一下当前OceanBase集群的基本配置情况?例如版本号、部署架构(单机/分布式)、节点数量等。
  3. 请问是否所有租户都遇到了相同的日志备份延迟问题,还是说只有特定的一些租户受到了影响?
  4. 在观察到日志备份出现问题期间,系统资源利用率(CPU、内存、磁盘IO等)的表现如何?是否存在异常峰值或者长时间占用过高现象?
  5. 是否已经尝试过重启相关服务来解决这个问题?如果试过了,效果如何?

这些信息对于分析和解决问题非常有帮助,感谢您的配合!

附上敏捷诊断工具 obdiag 使用帮助链接