partition table update task cost too much time to execute

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】
【 使用版本 】 3.1.5
【问题描述】清晰明确描述问题

ob集群 共三个节点,研发执行一个任务,导致主节点ob挂了,后来进行了服务恢复,从ocp上看 该节点observer 服务恢复了,但是后来就报出了如下错误: 该错误未导致集群不可用,但怀疑有较大安全隐患。其中还伴有 资源长时间未释放的情况。

【问题现象及影响】

  • 告警对象 ob_cluster=obcluster:svr_ip=10.100.1.101:server_type=observer:ob_error_code=4015
  • 告警详情 [OB日志告警] 集群=obcluster, 机器=10.100.1.101,日志类型=observer 错误码=4015, 错误名称=OB_ERR_SYS, 错误详情=[2023-10-28 16:39:40.199939] ERROR [SERVER] check_task_status (ob_partition_table_updater.cpp:114) [174685][520][YB420A640165-000608C1D37966F4] [lt=165] [dc=0] partition table update task cost too much time to execute(*this={part_key:{tid:1099511628031, partition_id:0, part_cnt:0}, data_version:0, first_submit_time:1698482190548590, is_remove:false, with_role:true}, safe_interval=120000000, cost_time=189651320, interval=1800000000) BACKTRACE:0x9b8f29e 0x99624d1 0x2332f8e 0x2332bcb 0x23328f7 0x94a457b 0x940cc9c 0x9413c27 0x94fd7d3 0x94f9cd3 0x2cfc314 0x2cfec42 0x9916965 0x9915352 0x9911e0f
  • 恢复时间 2023-10-28T16:46:13+08:00

==================================

名称:OB租户memtable长时间未释放

  • 级别:严重
  • 告警对象:ob_cluster=obcluster-1:tenant_name=lph:svr_ip=10.100.1.101
  • 概述:ob_cluster=obcluster-1:tenant_name=lph:svr_ip=10.100.1.101 OB租户memtable长时间未释放
  • 生成时间:2023-10-28T15:37:53+08:00
  • 详情:集群:obcluster,租户:lph,主机:10.100.1.101(zone:zone1),告警:OB租户存在长时间未释放的memtable,最长时间为 5 小时 30 分 35.705 秒,超过阈值 10800 秒。

【附件】

observer.log里有什么错误吗?

提供下详细的日志信息