ocp部署集群Bootstrap无法通过

AntTech_6SY3SD · 2023 年11 月 23 日 16:46

AntTech_6SY3SD · 2023 年11 月 23 日 16:48

2023-11-23 16:46:50.520 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] .o.o.i.c.ClusterHostOperationServiceImpl : server not accessible, hostId=2, exitCode=1, output=ERROR 2003 (HY000): Can’t connect to MySQL server on ‘127.1:2881’ (111)

2023-11-23 16:46:50.552 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.agent.HostAgentServiceImpl : Finding OCP agent: hostId=3

2023-11-23 16:46:50.560 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.a.p.HostAgentProcessServiceImpl : Getting all OCP agent processes on host 3

2023-11-23 16:46:50.655 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.e.internal.template.HttpTemplate : POST request to agent, url:http://xx.xx.xx.109:62888/api/v1/ob/observer/access, request body:AccessObServerProcessRequest(port=2881, username=root), params:null

2023-11-23 16:46:50.685 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] .o.o.i.c.ClusterHostOperationServiceImpl : server not accessible, hostId=3, exitCode=1, output=ERROR 2003 (HY000): Can’t connect to MySQL server on ‘127.1:2881’ (111)

2023-11-23 16:46:50.690 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.s.t.b.c.helper.ObServerTaskHelper : there exists server(s) still not accessible, hostIds=1,2,3

2023-11-23 16:46:50.695 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] com.oceanbase.ocp.common.pattern.Retry : wait for 5 seconds

2023-11-23 16:46:55.719 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.agent.HostAgentServiceImpl : Finding OCP agent: hostId=1

2023-11-23 16:46:55.726 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.a.p.HostAgentProcessServiceImpl : Getting all OCP agent processes on host 1

2023-11-23 16:46:55.748 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.e.internal.template.HttpTemplate : POST request to agent, url:http://xx.xx.xx.107:62888/api/v1/ob/observer/access, request body:AccessObServerProcessRequest(port=2881, username=root), params:null

2023-11-23 16:46:55.766 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] .o.o.i.c.ClusterHostOperationServiceImpl : server not accessible, hostId=1, exitCode=127, output=mysql: error while loading shared libraries: libreadline.so: cannot open shared object file: No such file or directory

2023-11-23 16:46:55.838 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.agent.HostAgentServiceImpl : Finding OCP agent: hostId=2

2023-11-23 16:46:55.844 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.a.p.HostAgentProcessServiceImpl : Getting all OCP agent processes on host 2

2023-11-23 16:46:55.882 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.e.internal.template.HttpTemplate : POST request to agent, url:http://xx.xx.xx.108:62888/api/v1/ob/observer/access, request body:AccessObServerProcessRequest(port=2881, username=root), params:null

2023-11-23 16:46:55.914 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] .o.o.i.c.ClusterHostOperationServiceImpl : server not accessible, hostId=2, exitCode=1, output=ERROR 2003 (HY000): Can’t connect to MySQL server on ‘127.1:2881’ (111)

2023-11-23 16:46:55.964 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.agent.HostAgentServiceImpl : Finding OCP agent: hostId=3

2023-11-23 16:46:55.973 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.c.a.p.HostAgentProcessServiceImpl : Getting all OCP agent processes on host 3

2023-11-23 16:46:56.004 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.e.internal.template.HttpTemplate : POST request to agent, url:http://xx.xx.xx.109:62888/api/v1/ob/observer/access, request body:AccessObServerProcessRequest(port=2881, username=root), params:null

2023-11-23 16:46:56.052 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] .o.o.i.c.ClusterHostOperationServiceImpl : server not accessible, hostId=3, exitCode=1, output=ERROR 2003 (HY000): Can’t connect to MySQL server on ‘127.1:2881’ (111)

2023-11-23 16:46:56.056 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] c.o.o.s.t.b.c.helper.ObServerTaskHelper : there exists server(s) still not accessible, hostIds=1,2,3

2023-11-23 16:46:56.060 INFO 27807 — [pool-manual-subtask-executor14,73339508adbd4baf,d10d44442aab] com.oceanbase.ocp.common.pattern.Retry : wait for 5 seconds

甫瑜 · 2023 年11 月 23 日 17:04

这一步耗时挺长的，任务失败了吗

AntTech_6SY3SD · 2023 年11 月 23 日 17:05

也没提示失败，就一直这样等。最后手动中断了

热海 · 2023 年11 月 23 日 17:13

看看observer的进程是否存在？存在的话提供一下日志

AntTech_6SY3SD · 2023 年11 月 23 日 17:14

进程不在。日志上面有附件

热海 · 2023 年11 月 23 日 17:26

看日志你的OB内存配置太小了

AntTech_6SY3SD · 2023 年11 月 23 日 17:28

也不大吧。12G的机器，ob内存配的6G 系统留的4g

甫瑜 · 2023 年11 月 23 日 17:32

12G 资源不太够吧，看官网最低配置需要16G

AntTech_6SY3SD · 2023 年11 月 23 日 17:32

用obd方式可以起来的呀。ocp这种方式耗内存？

王利博 · 2023 年11 月 23 日 17:47

是的 ocp部署的话内存最好20起

热海 · 2023 年11 月 23 日 17:53

我上面口误，你的6G配置的太小了，上面的system_memory配置的是OB系统的内存，是从6G里面扣除4G，所以你的OB只能用2G了。

AntTech_6SY3SD · 2023 年11 月 23 日 18:03

我把__min_full_resource_pool_memory 参数调成1了，现在observers起来了但是还是报错。明天我再调大内存试试
observer.log.bak.gz (6.3 MB)

热海 · 2023 年11 月 24 日 11:57

我看到了日志中有

麻烦检查下服务器时钟差异 clockdiff

AntTech_6SY3SD · 2023 年11 月 28 日 14:29

服务器时钟一样的。现在内存调到22G了，还是报错。
observer1128.log.gz (4.0 MB)
subtask_80152.log (50.5 KB)

热海 · 2023 年11 月 28 日 15:21

subtask日志报错：server not accessible, hostId=1, exitCode=127, output=mysql: error while loading shared libraries: libreadline.so: cannot open shared object file: No such file or directory

你尝试看看你机器上的mysql命令能执行吗？

AntTech_6SY3SD · 2023 年11 月 28 日 15:23

执行一下环境变量是可以执行的。

AntTech_6SY3SD · 2023 年11 月 28 日 15:35

设置了下ntp服务，现在是起来了