ob集群某节点异常

OceanBase 技术问题
,
#1

【 使用环境 】生产环境
【 OB or 其他组件 】ob4.1，ocp4.0.3
【问题描述】
ocp观察告警日志显示有个机器ob服务检测不到了，然后想通过重启修复，发现重启observers任务失败。之后尝试执行zone重启，任务失败，卡在这了，任务放弃也不行，执行也执行不了。
这个要怎么处理那？
iwEdAqNwbmcDAQTRC_gF0QZkBrATd3IR2n7DzgXxAUCq2QsAB9INRIWHCAAJomltCgAL0gANMpQ.png_620x10000q90

#3

麻烦提供下完整ocp日志呢。

#4

ocp.log.7z (3.2 MB)

#5

Failed to connect obproxy server, maybe caused by odp process down, wrong password, or ocp address not in private ip list and odp parameter skip_proxy_sys_private_check is not true
检查下[133.197.204.3:2883]的opb是否可以连接。

#6

连接不了，ocp告警的就是这个

image
image1294×82 33 KB

#7

有改过proxy密码嘛？

#8

可以先使用obdiag巡检下集群。【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集) - 社区问答- OceanBase社区-分布式数据库

#9

没改过

#10

我们现在是单节点出现问题，也需要巡检集群吗？

#11

看着是133.197.204.3的obproxy服务也挂了，可以ocp上先把obproxy拉起来。再试试

#12

好的

#13

老师，ocp已经拉起来了133.197.204.3的obproxy。
但是我们现在的问题是这个任务关不了，也执行不下去，zone显示重启状态，没法操作了。
放弃任务失败
重试显示rollback

image
image3052×854 404 KB

#14

设置为成功 看下。

#15

ocp上面没这个操作，是alter操作？

#16

image
image3334×676 257 KB

有的 看下设置成功后 后续动作能进行吗 不能的话 继续试试 放弃或者设置为成功。

#17

哦哦，没发现

#18

image
image1920×972 180 KB

老师，现在还是卡在observer起不来的状态

#19

先把整个任务回退或跳过，再确认下observer.log日志是否有启动异常信息。

#20

在ocp已经拉起来了133.197.204.3的obproxy后新起的任务，想重启observer。
observer.log的日志是集群的吗？还是报错机器所在的？

#21

要重启集群的这个节点的observer.log日志