observer 节点启动失败

[AntTech_KDMEOY]

【 使用环境 】测试环境
【 OB or 其他组件 】observer
【 使用版本 】4.2.1.1
【问题描述】通过ocp重启节点zone1 observer失败，后手动执行 ./bin/observer，日志如下（一天前删除过该节点中data的clog）。
【附件及日志】[2025-06-05 09:17:34.155305] WDIAG [SERVER] nonblock_get_leader (ob_inner_sql_connection.cpp:1771) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=18][errcode=-4014] user tenant has been dropped(ret=-4014, ret=“OB_INNER_STAT_ERROR”, tenant_id=1)
[2025-06-05 09:17:34.163673] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=37][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“ob_server_log_block_mgr.cpp”, line_no=515, info="::openat failed")
[2025-06-05 09:17:34.164405] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=657][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“ob_server_log_block_mgr.cpp”, line_no=106, info=“do_init_ failed”)
[2025-06-05 09:17:34.164528] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=19][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“ob_server.cpp”, line_no=2144, info=“log block mgr init failed”)
[2025-06-05 09:17:34.164599] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=51][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“ob_server.cpp”, line_no=328, info=“init io failed”)
[2025-06-05 09:17:39.369167] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=4][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“ob_server.cpp”, line_no=506, info="[OBSERVER_NOTICE] fail to init observer")
[2025-06-05 09:17:39.369223] ERROR init (ob_server.cpp:507) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=29][errcode=-4393] observer start process failure(msg=“observer init() has failure”, ret=-9100, ret=“OB_NO_SUCH_FILE_OR_DIRECTORY”)
[2025-06-05 09:17:39.369768] ERROR issue_dba_error (ob_log.cpp:1866) [423095][observer][T0][Y0-0000000000000000-0-0] [lt=543][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-9100, file=“main.cpp”, line_no=582, info=“observer init fail”)

[淇铭]

把这个时间的节点的observer.log的日志发一下 看看

[独善其身]

但从表面上看是observer初始化出问题了

[AntTech_KDMEOY]

observer.log (210.7 KB)

[淇铭]

可以看看 存储的目录是否有问题

[AntTech_KDMEOY]

但是配置的存储目录都存在，是不能使用root来启动吗

[Giant]

使用 obd配置的那个用户再试下。

一定要进去目录 使用 ./bin/observer这个命令启动

[AntTech_KDMEOY]

[root@localhost ~]# ps -ef | grep observer
root 1972 1 99 May29 ? 12-22:41:14 /home/admin/oceanbase/bin/observer
root 3329388 3083656 0 16:39 pts/0 00:00:00 grep observer
[root@localhost ~]#

在其他节点上看的也是以root用户进行启动的

[Giant]

1. 如果使用root用户 部署的 ，那就没问题查看方法 如果是obd cluster edit cluster_name 能看到配置
2. 社区有很多 手工删除 clog，一旦删除。 基本上都是重建集群。或者该observer废了，需要删除重新添加到集群里边。

[淇铭]

如果删除过clog文件 就会出现启动不了的问题 clog文件不能删除

[obpilot]

删除过 clog ，observer 启动会失败。
这个节点需要重建。
可以 通过 ocp 里重建节点。
如果ocp 重建节点使用有问题，可以考虑手动重建。参考：《 OB 数据文件缩容技巧》里的节点重建方法。