使用OCP发起数据恢复报错

OceanBase 技术问题
#1

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】OCP
【 使用版本 】4.3.5
【问题描述】在Ocp平台发起租户数据恢复报错，提示解析备份文件失败（采用自建Minio）
【复现路径】问题出现前后相关操作
【附件及日志】

image
image2934×1324 257 KB

image
image3192×1436 354 KB

1 个赞
#3

学习下

1 个赞
#6

解析备份文件异常@论坛小助手

#7

根据您提供的信息，使用 OCP 发起数据恢复时出现解析备份文件失败的问题。以下是可能的原因及解决方法：

1. 检查备份文件的完整性

  • 确保 Minio 中存储的备份文件没有损坏或丢失。
  • 您可以尝试手动下载备份文件并验证其内容是否正确。

2. 确认备份文件路径

  • 根据日志中的错误信息：
    [OCP UnexpectedException]: status=500 INTERNAL_SERVER_ERROR, errorCode=BACKUP_FILE_DUMP_FILE_ERROR, args=[1, 2, 8 3],s3://oceanbasejmyoceanbase/1747639064/tenant_incarnation_1/1006/data
    备份文件路径为 s3://oceanbasejmyoceanbase/1747639064/tenant_incarnation_1/1006/data，请确认该路径在 Minio 中是否存在，并且文件可访问。

3. 检查 Minio 配置

  • 确保 OCP 的 Minio 配置正确，包括访问密钥、秘密密钥、端点地址等。
  • 如果 Minio 使用了自定义域名或证书，请确保 OCP 能正确解析和连接到 Minio。

4. 排查 OCP 版本问题

  • 您使用的 OCP 版本为 4.3.5，建议查看是否有相关版本的已知问题（参考文档片段 7 和 9）。如果存在类似问题，可以尝试升级到最新版本以修复潜在的 bug。

5. 关闭不必要的巡检任务

  • 如果备份恢复相关的巡检任务导致干扰，可以根据文档片段 7 的建议，将 ocp_inspect_task 表中备份恢复相关的巡检任务的 valid 字段设置为 0 来关闭巡检：
    UPDATE ocp_inspect_task SET valid = 0 WHERE task_name LIKE '%backup%' OR task_name LIKE '%restore%';

6. 重新发起恢复任务

  • 在确认上述问题后，重新发起恢复任务。如果仍然失败，请记录详细的日志信息，包括 OCP 的后台日志和 Minio 的访问日志，以便进一步分析。

7. 联系技术支持

  • 如果以上方法无法解决问题，建议联系 OceanBase 的技术支持团队，提供完整的日志和配置信息以获取进一步帮助。

希望以上建议能够帮助您解决问题！如果仍有疑问，请随时反馈。

更多信息请查看:

  1. base_backup_fail 数据备份任务失败
  2. OCP V3.3.5
  3. ocp_collect_metric_failure_rate_high OCP-Server 采集监控失败率过高
  4. 扩容 OceanBase 集群及租户
  5. 其他问题
  6. 备份恢复常见问题
  7. base_secondary_backup_fail 数据二次备份任务失败
  8. OCP V4.3.0
  9. OCP V4.2.1
#8

到s3上看下……/1006/data 下 目录结构是否完整

#9

问题已解决了，查看OCP日志发现，以下报错，然后在每个OBServer节点上安装了ob_admin，将命令cp到/data/oceanbase/ob/bin/ 下。解决了这个问题

image
image1920×717 298 KB

间接性解决了备份时间不展示问题
image
image2986×1682 369 KB

#10

开始没注意到解析时间显示的问题，OCP是通过OB的ob_admin工具解析备份的，是需要这个工具的