ob集群重启失败，报“clog disk space is almost full”错误

OceanBase 技术问题
#1

明明机器还有很多空间，但是报硬盘空间不足的问题。用oblient也连接不上服务，重启服务一直卡在Connect to observer 这一步， 报错日志如下：

[2025-03-10 13:39:32.302227] ERROR [PALF] try_recycle_blocks (palf_env_impl.cpp:766) [827687][T1_PalfGC][T1][Y0-0000000000000000-0-0] [lt=16] clog disk space is almost full(total_size(MB)=2048, used_size(MB)=1817, used_percent(%)=88, warn_size(MB)=1638, warn_percent(%)=80, limit_size(MB)=1945, limit_percent(%)=95, maximum_used_size(MB)=1817, maximum_log_stream=1, oldest_log_stream=1, oldest_timestamp=1741339559578337837) BACKTRACE:0xb61bbbb 0xb60d4f6 0x3d2bb93 0x3d2b871 0x3d2b65c 0x3d2b48e 0x3dc0933 0x3a3a675 0x3a3a29b 0x3a391f1 0xb5fc3ac 0xb5ffbb7 0xb5fa7ea 0x7fd4946dbfed 0x7fd49460d18f

图片
图片956×97 35.7 KB

图片
图片1690×101 138 KB

#3

临时使用sys租户调整到98%，然后就可以了。在调整一下，回收部分clog。
或者直接扩clog盘

登录普通租户超时(直接超时无法登录)，sys 租户能正常登录1byjndl_gaMjkyNjcxMTY3LjE3MjUwNjI5NzI._ga_T35KTM57DZ*MTc0MTU4NDk5OC42NTcuMS4xNzQxNTg1NTkyLjUyLjAuMA…

#4

图片
这个咋操作？ 现在obclient已经连不上库了。

#5

sys租户能登录吗？可以在sys下修改。
如何使用ocp管理的，也可以再ocp的参数管理那修改。

#6

使用obd cluster edit-config扩容下log_disk_size参数

#7

登陆不了，没使用OCP

#8

配置里已经修改了，重启的时候卡死，然后日志中还报这个错。

#9

使用带参方式启动一下试试，cd ~/xxxx/oceanbase
./bin/observer -o “log_disk_size=xxG”

#10

图片
图片1527×252 116 KB

不用密码反而登录上了，但是查不了库。

#11

可以登录，你可以参考咖啡哥的方法进行修改

#12

不知道具体咋操作啊，比如如何调整到98以及如何回收clog

#13

图片
图片836×80 77.2 KB

不是这样吗？

#14

不是的 先进到oceanbase目录再执行./bin/observer -o “log_disk_size=xxG”。
注意双引号为英文

修改参数方法：clog 磁盘空间使用上限，由全局配置项 log_disk_utilization_limit_threshold 控制，默认值是 95 ，代表允许 Clog 使用的磁盘空间占总磁盘空间的百分比。

#15

图片
图片749×130 51.7 KB

我已经进到oceanbase的目录下执行这个命令了，又报没有observer

#16

image
image1192×337 90.1 KB

1 个赞
#17

如何回收clog？

#18

图片
图片829×67 58.6 KB

查这个参数的时候有张表找不到

#19

ls 看一下有没有bin目录和bin里面的observer呀。

#21

图片
图片1680×52 101 KB

observer进程没问题，在起着。

#22

麻烦先ps -ef | grep observer截个图，再提供一份yaml文件 ~/.obd/cluster/xxx/