从4.3.5升级到4.4.2后，经常出现sys租户队列超时告警，然后所有业务租户3副本CPU使用率开始暴涨

rocH · 2026 年7 月 9 日 16:29

【使用环境】生产环境
【 OB or 其他组件】OB
【使用版本】4.4.2
【问题描述】

top -Hp命令结果

observer.log日志：
[2026-07-09 16:02:53.708353] ERROR [SERVER] deliver_mysql_request (ob_srv_deliver.cpp:889) [1327487][sql_nio2][T0][Y0-0000000000000000-0-0] [lt=40][errcode=-4019] deliver mysql request to tenant: 1 queue failed, the queue is full. [suggestion] check T1_L0_G0 thread stack to see which procedure is taking too long or is blocked or check __all_virtual_thread view.

6月27日。从4.3.5版本升级到4.4.2版本开始。频繁出现 sys租户队列超时告警。
一旦出现这个告警。2个业务租户的cpu也会飙升

淇铭 · 2026 年7 月 9 日 16:33

看着请求队列满了先增加cpu资源之前帖子回复你了或者挨个重启一下observer 先恢复observer集群
把这个时间段的observer.log日志取一下

rocH · 2026 年7 月 9 日 16:35

sys租户已经从4核加到12核了。还是出现
之前4.3.5版本一直4核很稳定。

淇铭 · 2026 年7 月 9 日 16:36

这个时间段的observer.log rootsevice.log日志取一下看看

rocH · 2026 年7 月 9 日 16:37

之前日志级别设置的 WARN.

有用的信息就
[2026-07-09 16:02:53.708353] ERROR [SERVER] deliver_mysql_request (ob_srv_deliver.cpp:889) [1327487][sql_nio2][T0][Y0-0000000000000000-0-0] [lt=40][errcode=-4019] deliver mysql request to tenant: 1 queue failed, the queue is full. [suggestion] check T1_L0_G0 thread stack to see which procedure is taking too long or is blocked or check __all_virtual_thread view.

目前集群已经恢复。
我先把日志级别改成WDIG。后面遇到了我把日志down下来。除了日志还有什么需要排查的吗

淇铭 · 2026 年7 月 9 日 16:42

如果有ocp的话可以看看
集群控制台-性能监控-主机性能， 点击监控下钻 可以看到每个 OBServer的 CPU 使用率。
ocp上的top sql也可以看看

rocH · 2026 年7 月 9 日 16:51

问题期间，sys租户有个sql耗时异常
SELECT
CAST(USEC_TO_TIME(request_time) AS CHAR(32)),
query_sql
FROM
__all_virtual_sql_audit
where
session_id = ?
and transaction_id = ?
and seq_num <= ?
order by
seq_num desc
limit
?

淇铭 · 2026 年7 月 9 日 16:53

top sql选一下在这个时间段里看看

淇铭 · 2026 年7 月 9 日 16:54

看着是这个sql占比很高呀你看看这个sql的执行计划使用gv$ob_sql_audit搜一下这个sql文本
你对比一下没有出问题的时候这个语句执行的情况

rocH · 2026 年7 月 9 日 16:54

SELECT
CAST(USEC_TO_TIME(request_time) AS CHAR(32)),
query_sql
FROM
__all_virtual_sql_audit
where
session_id = ?
and transaction_id = ?
and seq_num <= ?
order by
seq_num desc
limit
?
这个