报 OB_CACHE_FREE_BLOCK_NOT_ENOUGH 错误,请问有无处置建议?

【 使用环境 】生产环境
【 OB or 其他组件 】OB
【 使用版本 】3.1.4_CE_BP1
【问题描述】 偶发收到告警如下:
告警详情
[OB日志告警] 集群=obcluster_obs03, 机器=10.228.111.108,日志类型=observer 错误码=4273, 错误名称=OB_CACHE_FREE_BLOCK_NOT_ENOUGH, 错误详情=[2023-03-09 11:08:46.776664] ERROR [COMMON] sync_wash_mbs (ob_kvcache_store.cpp:446) [126371][284][YB420AE58D68-0005F2A0573E6A1E] [lt=6] [dc=0] can not find enough memory block to wash(ret=-4273, size_washed=0, size_need_washed=2097152) BACKTRACE:0x9aad60e 0x98818b1 0x22d9c36 0x22d987b 0x22d95f3 0x22cd779 0x22b016e 0x22b9f23 0x22b63d7 0x22de40d 0x22c5840 0x22a5760 0x8396d17 0x8323dac 0x83243e2 0x8325169 0x98ef17b 0x98f430b 0x34012bf 0x2ca1712 0x9835515 0x9833f02 0x98309bf

告警详情
[OB日志告警] 集群=obcluster_obs03, 机器=10.228.111.108,日志类型=rootservice 错误码=4273, 错误名称=OB_CACHE_FREE_BLOCK_NOT_ENOUGH, 错误详情=[2023-03-09 11:08:47.216238] ERROR [COMMON] sync_wash_mbs (ob_kvcache_store.cpp:446) [126607][660][YB420AE58D68-0005F2A04FB9CEF6] [lt=16] [dc=0] can not find enough memory block to wash(ret=-4273, size_washed=0, size_need_washed=2097152) BACKTRACE:0x9aad60e 0x98818b1 0x22d9c36 0x22d987b 0x22d95f3 0x22cd779 0x22b016e 0x22af66b 0x98949e9 0x9858c31 0x985873e 0x98584c0 0x986a41d 0x986a273 0x984478b 0x9844342 0x22d86f8 0x7b57ba6 0x7b572ae 0x7b5afc2 0x7b544c3 0x7b3adba 0x7c354f6 0x83e9651 0x83e8908 0x83e8892 0x83dd0c1 0x7b8958b 0x7b8a02d 0x7b8af27 0x3c5bd64 0x39c9657 0x490db68 0x39c9657 0x50abcc5 0x39c9657 0x569c74b 0x5a41e0d 0x933b9df 0x2851970 0x26c3ac4 0x34babfd 0x62c5c73 0x6b76910 0x6b7b1a3 0x6b754cf 0x6b734c7 0x6b726b8 0x6b7227f 0x67464d2 0x9a3f22d 0x9a3ec5e 0x34012bf 0x2ca1712 0x9835515 0x9833f02 0x98309bf
【复现路径】无相关操作
【问题现象及影响】暂未收到业务反馈影响

free memblock in cache is not enough
是业务压力大吗?可以调大内存

租户较多,请问有没有办法先根据告警内容快速定位是哪个租户?

GV$OB_MEMORY可以查看租户级别的内存统计信息

内存峰值已经过去,事后排查,用GV$OB_MEMORY看不到了吧?而且租户级别去查看,租户太多了。

是的 查看的是当前使用的租户级内存

可以按正在使用的内存大小排序

那我感觉是不是只能 OCP白屏一个个租户去查看历史性能监控来定位了,告警信息也太不友好了。

image
可以尝试用这个监控项定位内存使用情况