OceanBase CLOG 坏块诊断报告(供 ask.oceanbase.com 发帖用)
一、环境信息
| 项目 | 值 |
|---|---|
| OceanBase 版本 | oceanbase-ce 4.2.4.0-100000082024070810(社区版) |
| 部署方式 | obd 单节点部署,集群名 ob_test |
| OS | Ubuntu(内核 Linux 6.8.0-87generic),ext4 本地盘 |
| 硬件 | DELL PERC H310 RAID 卡 + 1.8T 机械盘(ROTA=1),31G 内存 |
| 关键配置 | memory_limit: 8G,datafile_size: 600G,log_disk_size: 3G |
| 数据目录 | /home/yuyang/oceanbase/obdata |
| 数据规模 | sstable 601G(业务数据量大),clog(tenant_1/1) 1.6G(25 个分片) |
| 备份状态 | 全量物理备份已完成并校验(/home/backup/obdata_backup_20261116/,601G) |
二、故障时间线
| 时间(本地) | 事件 |
|---|---|
| 11-16 之前 | 服务器断电,observer 非正常退出 |
| 11-16 09:44 | obd cluster start,observer 启动,客户端报 8001 Server is initializing |
| 09:44~13:12 | 日志持续刷 wait replay done return false, need retry(ls_id=id:1), end_lsn=[lsn:104889274018],GTS 报 OB_NOT_MASTER,内部 SQL 报 -4233 |
| 期间 | slog 检查点文件时间戳 4 小时零推进(卡死的关键证据);磁盘 IO 仅几百 KB/s |
| 14:04 | 判定僵死,SIGTERM 优雅停止后重启 |
| 14:44~15:45 | 重启后回放循环依旧,schema full refresh 成功(ret=0)但仍卡 wait replay done (ls_id=1)
|
| 11-16 晚~11-17 早 | rsync 全量备份(601G,约 8 小时),校验通过 |
| 11-17 上午 | ob_admin log_tool 诊断,确诊 1539 号块损坏(详见第四节) |
三、故障现象(observer 侧证据)
observer 进程存活、2881 正常监听、obclient 连接返回 8001,但 observer.log 持续循环以下内容(超过 6 小时无任何推进):
wait replay done return false, need retry(ls_id=id:1), end_lsn=[lsn:104889274018]
get_gts_from_local_timestamp_service ... global timestamp service gets fail, leader='192.168.1.100:2882', ret=-4038 OB_NOT_MASTER
REACH_SYSLOG RATE LIMIT [bandwidth] ... bandwidth=0.3
排查中已排除:磁盘硬件故障(smartctl/dmesg 无异常)、内存不足、磁盘空间满、文件系统类型问题、OOM kill。两次重启(含一次 SIGTERM 优雅停止)均无法走出该循环。
四、ob_admin 诊断证据链(核心)
工具:ob_admin(oceanbase-ce-utils-4.2.4.0-100000082024070810 解包,与 observer 版本严格一致)
4.1 clog 分片状况
- 分片位置:
data/clog/tenant_1/1/log/,编号 1539~1563 共 25 个文件,每个 67108864 字节(64MB)标准分片,编号连续无缺失,仅最后一个(1563)不足 64MB; - 按公式
BLOCK_ID = LSN/(64MB-4KB)换算:1539 号块覆盖 LSN ≈ [103,274,237,952, 103,341,342,720),observer 日志中的回放终点end_lsn=104889274018落在 1562/1563 号块——回放窗口正好从 1539 开始。
4.2 全量 stat 结果(连续解析全部 25 个分片)
$ ob_admin log_tool stat clog/tenant_1/1/log/* (CLOG_TOOL_BREAK_ON_FAIL=true)
...
dumping block(1539) encounters error. Retrieve detailed error information from the ob_admin.log.
(除 1539 外,其余 24 个分片无任何报错)
4.3 ob_admin.log 中 1539 号块的详细错误
ERROR ... log_tool_executor.cpp:264 ... BKldmDumpBlock fail... duty_id=1, block_id=1539, ret=-4070
ERROR ... invalid data, need clean cache, maybe storage device can't guarantee linear consistency reading, ret=-4070
ERROR ... invalid data or checksum error!!! {..., curr_entry:{LogGroupEntry{header{magic:132526, version:5, group_size:34, proposal_id:3, committed_lsn:[lsn:1033412347503], max_scn:{val:1794455665677550851, v:0}, accumulated_checksum:...}}}}
ERROR ... log_entry end invalid ... fail(ret=-4076)
ERROR ... stat_cbi.cpp:668 ... the block has been corrupted!!! [ret=-4070, ... start_lsn:{val:1033...}, end_lsn:{val:1033...}, block_file_size:107374182400, ...]
ERROR ... ob_admin_dump_block.cpp:305 ... Unexpected internal error happen, ret=-3888
4.4 全量 dump_log 复核(CLOG_TOOL_BREAK_ON_FAIL=false)
$ ob_admin log_tool dump_log clog/tenant_1/1/log/*
dumping block(1539) encounters error. Retrieve detailed error information from the ob_admin.log.
(仅此一行;1540~1563 均可正常解析,ob_admin.log 中无其他 block_id 被判 corrupted)
五、诊断结论
-
tenant_1(sys 租户)ls_id=1 的 clog 1539 号块内存在损坏记录(checksum 校验失败,ret=-4070/-3888);
-
1539 恰好是当前回放窗口的第一个分片,observer 的回放检查点位于该块内部 → 每轮回放从坏块开始 → 校验失败 →
wait replay done return false无限重试 → 选举无法完成 → 服务无法就绪(8001); -
坏块之后的 24 个分片(1540~1563,约 1.5G)经全量连续解析全部完好;
-
服务器断电是诱因(非磁盘硬件故障,smartctl/dmesg 干净)。
六、求助问题
请问官方:
- 对于这种位于回放起点/检查点附近、且坏块之后的日志全部完好的场景,社区版有什么官方支持的修复手段?是否有内部工具(如 ob_admin 的修复模式)可以定点跳过/修补损坏记录,使回放推进到 1563 号块并完成选举恢复?
- 如果需要,我们可以提供 ob_admin 的完整输出、对应分片文件(1539 仅 64MB)或 observer 日志片段。
七、当前保护措施(已就位)
-
全量物理备份:/home/backup/obdata_backup_20261116/(601G,rsync 校验通过,文件数 58=58、clog 28 项一致)
-
配置与小文件备份:/home/backup/ob_etc_slog_small.tar.gz(etc/ + data/slog + obd config.yaml)
-
原始数据目录保持冻结:observer 已停止,自备份完成后未做任何写入/修改,1539 号块未动过
附:操作命令备忘(复现诊断环境)
# 工具准备
cd /tmp && wget https://mirrors.aliyun.com/oceanbase/community/stable/el/7/x86_64/oceanbase-ce-utils-4.2.4.0-100000082024070810.el7.x86_64.rpm
sudo apt install -y libmariadb3
mkdir -p /tmp/obutils && cd /tmp/obutils && bsdtar -xvf /tmp/oceanbase-ce-utils-*.rpm
export OB_ADMIN=/tmp/obutils/usr/bin/ob_admin
export OB_ADMIN_LOG_DIR=/tmp # 错误详情写 /tmp/ob_admin.log,不在 stdout
export CLOG=/home/yuyang/oceanbase/obdata/data/clog/tenant_1/1/log
export CLOG_TOOL_BREAK_ON_FAIL=true # true=遇坏块即停(定位用);false=跳过继续(评估用)
# 体检
$OB_ADMIN log_tool stat $CLOG/*
$OB_ADMIN log_tool dump_log $CLOG/*