OB备份历史任务残留无法清理，新备份任务无法启动

OceanBase
, ,
#1

【 使用环境 】生产环境
【 OB or 其他组件 】OB 和 ocp
【 使用版本 】observer：3.1.2 ，ocp：3.2.4-20221130
【问题描述】

23319f0c5f78ca5b6eecb4ae09bf111e
23319f0c5f78ca5b6eecb4ae09bf111e2985×360 29.5 KB

备份一直提示失败了，疑似残留了上图所示增量备份任务，我手动启动立即全量备份也不行，提示已经有备份任务了。
已经尝试过的操作有：
删除备份策略，后台取消备份任务 ALTER SYSTEM CANCEL BACKUP ，还有日志备份任务
ALTER SYSTEM CANCEL BACKUP，然后重新设置一个备份目录，再启动立即备份，发现依旧无法启动提示任务已经存在。

f1b9d0d0bbea3107d30644463dc30e11
f1b9d0d0bbea3107d30644463dc30e111463×177 21.2 KB

另外，我昨天删除了备份策略之后，今天ocp上备份恢复页面显示如下

image
image3842×1912 200 KB

image
image3842×1912 403 KB

【复现路径】出现问题前没有做过什么操作

【问题现象及影响】备份任务无法启动，无法正常备份。

#3

3.x版本是集群级别备份。 如果之前的备份不需要了，可以按以下步骤操作

#关闭日志备份
ALTER SYSTEM NOARCHIVELOG;

#强制停止所有备份任务
ALTER SYSTEM CANCEL ALL BACKUP FORCE;

#查看日志备份任务状态
SELECT * FROM CDB_OB_BACKUP_ARCHIVELOG\G

#查看数据备份进程
SELECT * FROM CDB_OB_BACKUP_PROGRESS;

#查看备份路径
SHOW PARAMETERS LIKE ‘%backup_dest%’

#修改备份目录
ALTER SYSTEM SET backup_dest=‘file:///data/obbackup’;

重新发起发起备份；

1 个赞
#4

遇到过几次备份相关问题，重新配置备份就可以解决

#5

image
image3345×622 105 KB

貌似force不支持

#6

重新配置新的备份策略吗？

#7

3.1.2版本，你这个是企业版本吗？

#8

是企业版，但是我们没有维保

#9

我找下企业老师，协助看下，稍等。

#10

没有买原厂的维保吗，那有买其它和ob合作公司的服务吗，这些公司也可以给ob官方提工单的，可以找他们提工单给官方的售后看看。

#11

https://github.com/oceanbase/oceanbase/issues/958
我跟着这个帖子操作了一下，发现查出来的备份任务使用ALTER SYSTEM CANCEL task ‘YB42C0A8AA08-0005F4C7E0EB2225’;
也无法取消掉

image
image3466×768 100 KB

然后我看了下observer的日志，发现报了如下错误

observer.log.20230427183244:[2023-04-27 18:32:43.088658] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=18] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
observer.log.20230427183308:[2023-04-27 18:33:03.089077] WARN  [STORAGE] try_schedule_new_partition_backup (ob_partition_backup.cpp:519) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=4] [dc=0] first_error_code_ is set, skip schedule new partition backup(ret=-4009)
observer.log.20230427183308:[2023-04-27 18:33:03.089089] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=11] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
observer.log.20230427183313:[2023-04-27 18:33:13.089123] WARN  [STORAGE] try_schedule_new_partition_backup (ob_partition_backup.cpp:519) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=5] [dc=0] first_error_code_ is set, skip schedule new partition backup(ret=-4009)
observer.log.20230427183313:[2023-04-27 18:33:13.089134] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=11] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
observer.log.20230427183326:[2023-04-27 18:33:23.089222] WARN  [STORAGE] try_schedule_new_partition_backup (ob_partition_backup.cpp:519) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=4] [dc=0] first_error_code_ is set, skip schedule new partition backup(ret=-4009)
observer.log.20230427183326:[2023-04-27 18:33:23.089245] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=21] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
observer.log.20230427183337:[2023-04-27 18:33:33.089335] WARN  [STORAGE] try_schedule_new_partition_backup (ob_partition_backup.cpp:519) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=5] [dc=0] first_error_code_ is set, skip schedule new partition backup(ret=-4009)
observer.log.20230427183337:[2023-04-27 18:33:33.089350] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=13] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
observer.log.20230427183344:[2023-04-27 18:33:43.089433] WARN  [STORAGE] try_schedule_new_partition_backup (ob_partition_backup.cpp:519) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=6] [dc=0] first_error_code_ is set, skip schedule new partition backup(ret=-4009)
observer.log.20230427183344:[2023-04-27 18:33:43.089445] WARN  [STORAGE] do_backup_task (ob_partition_backup.cpp:285) [13799][418][YB42C0A8AA08-0005F4C7E0EB2225] [lt=11] [dc=0] failed to try_schedule_new_partition_migration(tmp_ret=-4009)
#12

公司觉得OB很稳定，然后没有买维保了。 现在是没大问题，但是有些小问题 :confounded:

#14

尊敬的客户：
您好！
感谢您提交技术问题，建议您不同版本通过相应标准渠道获取支持。
1.【商业版】 商业版使用问题可以联系公司/项目对接OceanBase客户代表通过标准售后渠道获取支持。
2.【开源版】开源版使用问题请您异步至以下渠道获取技术支持。
（1）、官网问答区: https://ask.oceanbase.com
（2）、开源社区: Issues · oceanbase/oceanbase · GitHub
欢迎您通过合适渠道进行相关版本使用问题技术交流。
感谢您的理解与支持！

#15

把备份策略清理了，关闭日志备份，然后重新配置备份

#16

试过了，没有用呀，那个备份任务还一直活着

#17

可以查看下observer和rs的日志，看下能否确定无法清理的原因，近期配置日志备份时，出现了一种情况，采用的nfs方式，日志开启出去beginning或者关闭出现stopping，nfs的目录属组修改为admin后，日志提示权限不足，调整为777的权限后，恢复正常的。