数据库备份卡死

OceanBase 技术问题
#1

【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】4.3.5
【问题描述】数据库全量备份卡死，一直卡6个小时后报错超时
【复现路径】问题出现前后相关操作
【附件及日志】

3
31572×807 74.8 KB

2
2730×643 47.2 KB

1
1728×780 54.1 KB

1 个赞
#3

image
ob详细版本是多少提供一下traceid相关的observer日志

#4

oceanbase-all-in-one-4.3.5_20250115.el8.aarch64.tar.gz 是这个安装包，trace.log没有你说的这个trac_id

#5

grep “XXXXXX” observer.log*

#6

执行的结果：
1.log (1.4 MB)
grep “YB420A660008” observer.log → 1.log

#7

这个日志只包含了observer.log的没有覆盖到4012报错期间的日志
麻烦grep一下observer.log*

#8

需要在 0.8这台机器上grep这个traceid，你grep不到大概率是日志已经被滚掉了，建议调整下日志保留策略，多保留一些日志，待下次出现时 grep observer.log和rootservice.log

image
image2566×1298 237 KB

image
image2924×1072 219 KB

#9

再查询一下CDB_OB_BACKUP_TASKS看下字段FINISH_MACRO_BLOCK_COUNT字段是否有变化

#10

没有变化的，刚也报错了，能看到具体tracid信息
3.log (352 KB)

4
41590×384 15.6 KB

#11

查询下这个分区表tablet_id=200784是啥 cdb_ob_table_locations

#12

会不会是磁盘性能不行呢？

#13

是个正常的表，drop table 和trunate table 都不行，删不掉

#14

查询看看这个表是否有锁
SELECT * FROM GV$OB_PROCESSLIST WHERE INFO LIKE ‘%your_table%’;
或者检查下是否存在坏块涉及到该分区了

#15

SELECT * FROM GV$OB_PROCESSLIST WHERE INFO LIKE ‘%your_table%’;
这个查不到结果，怎么检查坏块涉及到该分区了？

#16

学习一下

#17

提供一份完整的observer日志看一下。

#18

检查是否有来自 __all_virtual_disk_error_info 视图的坏块告警信息。