oceanbase集群多数派节点故障后，能否以单节点的方式拉起少数派节点

OceanBase 技术问题
#1

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】oceanbase
【 使用版本 】4.2.x or 4.3.x
【问题描述】如果oceanbase集群多数派节点故障后，没有备集群，数据量太大，备份恢复需要时间，有没有方法以单节点或者单机的方式拉起少数派节点，先保证服务的可用性？具体该如何操作？
【复现路径】问题出现前后相关操作
【附件及日志】 [@论坛小助手]

#3

用户的问题主要关注在多数派节点故障后，OceanBase 集群是否能够以单节点方式拉起少数派节点，以及具体的操作步骤。虽然 obdiag 工具主要用于日志采集和根因分析，但在此场景下，我们可以先通过日志采集来确认当前集群的状态和健康情况。

日志采集场景: 集群基础信息
日志采集命令: obdiag gather scene run --scene=observer.base

为了更好地帮助您解决问题，请您按照以下步骤操作，并提供一些额外的信息：

  1. 您的 OceanBase 集群当前是否有可用的少数派节点？如果有，请提供这些节点的具体信息（如 IP 地址、角色等）。
  2. 在多数派节点故障后，您是否尝试过任何恢复或拉起的操作？如果有，请描述具体的步骤和结果。
  3. 您的 OceanBase 集群版本是什么？这有助于我们确认相关功能的支持情况。
  4. 当前集群的分区状态如何？是否存在未同步的分区或数据丢失的情况？

请运行上述日志采集命令并将生成的日志压缩包提供给我们，以便进一步分析集群的健康状况和可行性方案。

附上敏捷诊断工具 obdiag 使用帮助链接

#4

没有，三zone 同时坏两个不太符合常识了

1 个赞
#5

虽然有点极端，但不排除这种场景。那就只能通过备份恢复了或者提前准备好容灾环境了吗。。。

1 个赞
#6

如果是重要业务集群 异地灾备按理说是肯定需要搭建的

2 个赞
#7

根据文档库中的信息，以及您补充的描述，我们可以明确以下几点：

  1. OceanBase 的高可用机制：OceanBase 是基于 Paxos 协议实现高可用的分布式数据库。多数派节点（即超过半数的副本）是保证数据一致性和服务可用性的关键。如果多数派节点不可用，少数派节点无法单独提供服务，因为它们可能缺少最新的数据。

  2. 极端场景下的解决方案：

    • 如果没有备集群，且数据量较大导致备份恢复时间较长，确实可以通过以下两种方式来应对：
      1. 提前准备容灾环境：如文档片段 2 和片段 6 所述，可以采用物理备库的方式进行机房级或地域级容灾。即使在极端情况下，备库可以激活为新主库继续提供服务，尽管可能会丢失部分数据。
      2. 通过备份恢复：如文档片段 4 和片段 10 所述，可以利用物理备份功能快速恢复出一个新的租户或集群。虽然这种方式需要一定的时间，但它是保证数据一致性的可靠方法。

  3. 单节点拉起的可能性：
    根据 OceanBase 的设计原则，少数派节点由于可能缺少最新的数据，无法直接以单节点方式拉起并提供服务。如果强行拉起少数派节点，可能会导致数据不一致甚至服务异常。因此，这种操作并不推荐。

具体建议

  • 短期应急方案：
    如果当前没有备集群，且多数派节点故障导致服务中断，可以考虑以下步骤：

    1. 使用 ALTER SYSTEM CANCEL BACKUP 停止正在进行的备份任务（如果有），并清理不完整的备份数据（参考文档片段 5）。
    2. 利用最近一次完整的备份数据，通过物理恢复功能创建一个新的租户或集群（参考文档片段 9 和片段 10）。

  • 长期优化方案：

    1. 提前部署容灾环境，例如采用同城双机房物理备库（参考文档片段 2）或两地两中心物理备库架构（参考文档片段 6）。
    2. 定期验证备份的有效性，并确保 NFS 或其他存储介质的可靠性（参考文档片段 4）。

总结

您的问题合理，但在 OceanBase 的设计中，少数派节点无法直接拉起提供服务。为了应对类似场景，建议提前准备容灾环境或优化备份恢复流程。如果需要更详细的指导，请联系 OceanBase 的技术支持团队获取帮助。

具体信息可参考以下文档:

  1. 停止备份
  2. 容灾部署方案
  3. BACKUP
  4. 极简化体验物理备份与恢复
  5. CANCEL BACKUP
  6. 发起增量数据备份
  7. SYS 租户/RS 服务问题
  8. RESTORE

(小助手的答复已结束，如未能解决您的问题，请继续提问并等待其他同学的回复，谢谢！)

1 个赞
#8

1.多数派（Quorum）原则
OceanBase 采用分布式架构，依赖多数派机制保证数据一致性。正常情况下，事务提交需要多数派节点确认（如 3 副本集群需至少 2 个节点确认）。
2.自动容灾与切换能力
支持「三地五中心」容灾架构，RPO=0（数据零丢失），RTO<8s，故障时自动切换主副本到健康节点。
若多数派节点故障，剩余少数派节点可能通过自动选举机制尝试恢复服务，但需满足数据完整性和一致性条件。

2 个赞
#9

少数派还有自选机制吗，如何配置
如果网络异常导致少数派自选，那不是脑裂了

#10

可以单zone拉起集群，但是可能会丢数据，而且即便拉起来，集群后面也需要重建，不建议在继续生产中使用

4 个赞
#11

:+1: :+1: :+1: :+1:

#12

如果是测试环境，重建无所谓，如果是生产环境，你这个情况建议不要理了，留给小伙伴处理吧，你赶紧收拾东西走人吧 :joy:

#13

如何操作？单zone还能拉起集群吗？

1 个赞
#14

哈哈哈哈 生产是有备份的 能恢复 但就是需要时间
再就是做容灾了
机器坏了又不是dba的锅~不跑~哈哈哈

1 个赞
#15

淡定！！这种情况不存在的！运维小姐姐会48小时盯着！！！ :smiley: