OCP，创建obproxy任务失败后，也无法回滚，obproxy无法删除，无法重新部署

OceanBase 技术问题
#1

【 使用环境 】测试环境
【 OB or 其他组件 】
【 使用版本 】4.3.1
【问题描述】OCP，创建obproxy任务失败后，也无法回滚，obproxy无法删除，无法重新部署
问题情况如下：
1、基于OCP创建obproxy。
2、创建任务，卡在“wait node”，”重试“失败，“回滚”失败，任务也无法“回滚”

image
image2504×1404 408 KB

3、obproxy状态为“创建中”，同时处于“LOCK”状态无法删除；

image
image2152×177 14.9 KB

image
image886×751 37.2 KB

4、创建新的obproxy，也无法选择相关主机。

请问该如何解决。

【复现路径】如问题描述
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接（右键跳转查看）：

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

1 个赞
#3

麻烦下载任务日志发下

1 个赞
#4

根据文档库中的信息，您可以按照以下步骤尝试解决问题：

  1. 检查任务失败原因：

    • 首先，登录 OCP，进入 任务中心，查看具体的失败任务及其错误信息。 [1]

  2. 尝试任务重试：

    • 如果任务失败，可以尝试重试任务。在 任务列表 页面，选择需要重试的失败任务，单击操作列的 重试 按钮。 [1]

  3. 手动回滚任务：

    • 如果任务重试仍然失败，可以尝试手动回滚任务。在 任务列表 页面，选择需要回滚的失败任务，单击操作列的 回滚 按钮。如果回滚也失败，可以使用 obshell 命令手动回滚任务：
      ${home_path}/bin/obshell task rollback -i <任务ID>
      其中 <任务ID> 是您需要回滚的任务的 ID。 [8]

  4. 放弃任务：

    • 如果任务回滚仍然失败，并且您已经通过其他方式完成了任务包含的所有运维操作，可以考虑放弃任务。在 任务列表 页面，选择需要放弃的失败任务，单击操作列的 放弃 按钮。请注意，放弃任务会忽略任务失败状态并结束当前任务，可能导致 OCP 元信息缺失或状态与真实状态不一致。 [1]

  5. 删除 OBProxy 集群：

    • 如果任务已经放弃，但 OBProxy 集群仍然处于锁定状态，可以尝试以下步骤：
      • 登录 OCP，进入 系统管理 → OBProxy 集群 页面。
      • 选择需要删除的 OBProxy 集群，单击 删除 按钮。如果提示状态非法，可以尝试手动修改 OBProxy 集群的状态。具体操作如下：
        • 连接到 OceanBase 数据库，执行以下 SQL 语句：
          ALTER SYSTEM SET obproxy_status = 'NORMAL';
        • 再次尝试删除 OBProxy 集群。

  6. 重新部署 OBProxy：

    • 如果上述步骤成功删除了 OBProxy 集群，可以重新创建并部署 OBProxy 集群。确保在创建过程中选择正确的主机和配置。

如果以上步骤仍然无法解决问题，建议您联系 OceanBase 的技术支持团队，提供详细的日志信息以便进一步诊断。 [2]

更多信息请查看:

  1. 管理任务
  2. 扩容 OceanBase 集群及租户
  3. OCP V4.1.0
  4. ODP 服务高可用
  5. 基本操作
  6. OBProxy 常见问题
  7. 回滚任务
  8. OBShell 任务命令组
1 个赞
#5

可能任务日志没有你们想要的东西。

subtask_30092 (1).log (3.4 KB)

1 个赞
#6

感谢您提供了任务日志文件。根据您提供的日志文件内容，我们可以进一步分析问题。以下是日志文件的关键部分：

2024-10-19 01:36:31.180 [INFO ] [main] [com.alipay.sofa.jraft.NodeImpl] [NodeImpl.java:1171] - [NodeImpl] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [testc_csp_ob_proxy] [

检索到的文档如下:
1. [管理任务](https://github.com/oceanbase/ocp-doc/blob/V4.3.0/zh-CN/1600.system-management-features/600.manage-tasks.md)
2. [ob_cluster_operation_info OB 集群运维操作提醒](https://github.com/oceanbase/ocp-doc/blob/V4.3.0/zh-CN/1900.reference-guide/100.alarm-reference/200.ob-alert/1100.ob_cluster_operation_info.md)
3. [inc_backup_delay 日志备份延迟](https://github.com/oceanbase/ocp-doc/blob/V4.3.0/zh-CN/1900.reference-guide/100.alarm-reference/300.application-alert/900.inc_backup_delay.md)
4. [log_archive_concurrency](https://github.com/oceanbase/oceanbase-doc/blob/V4.3.1/zh-CN/700.reference/800.configuration-items-and-system-variables/100.system-configuration-items/400.tenant-level-configuration-items/4300.log_archive_concurrency.md)
5. [查询子任务实例日志](https://github.com/oceanbase/ocp-doc/blob/V4.3.0/zh-CN/1900.reference-guide/200.api-reference/1100.task-management/500.query-subtask-instance-logs.md)
6. [迁移/复制/Rebuild](https://github.com/oceanbase/oceanbase-doc/blob/V4.3.1/zh-CN/600.manage/1000.troubleshooting/400.storage/300.migration-and-replication-and-rebuild.md)
7. [概述](https://github.com/oceanbase/ocp-doc/blob/V4.3.0/zh-CN/1900.reference-guide/200.api-reference/100.api-overview.md)
8. [优化日志同步性能](https://github.com/oceanbase/oceanbase-doc/blob/V4.3.1/zh-CN/600.manage/400.high-availability/300.physical-standby-database-disaster-recovery/300.log-transport-service/600.optimize-log-synchronization-performance.md)
9. [设置日志恢复源](https://github.com/oceanbase/oceanbase-doc/blob/V4.3.1/zh-CN/600.manage/400.high-availability/300.physical-standby-database-disaster-recovery/300.log-transport-service/200.configure-the-log-transport-service/100.set-log-restore-source.md)
10. [暂停或开启日志同步](https://github.com/oceanbase/oceanbase-doc/blob/V4.3.1/zh-CN/600.manage/400.high-availability/300.physical-standby-database-disaster-recovery/300.log-transport-service/500.pause-or-enable-log-synchronization.md)

(小助手的答复已结束，如未能解决您的问题，请继续提问并等待其他同学的回复，谢谢！)
#7

麻烦执行如下sql 发下结果，在ocp_meta租户meta数据库执行

select state,count(1) from subtask_instance where state in ("READY", "RUNNING") group by state;

select state, count(1) from task_instance group by state;

select state, count(1) from subtask_instance group by state;

select name, count(1) from task_instance where state = 'RUNNING' group by name order by 2;
#9

这个问题有进展了吗？