仗剑天涯
2025 年8 月 22 日 11:29
#1
【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】4.3.5
【问题描述】
observer正常数据空间2.5t左右,这几天测试备份,自建了一个s3协议存储,写入性能比较低,约16M/收左,在ocp设置备份策略,开的备份速度参数ha_low_thread_score为30+
怀疑是因为备份存储写入性能低,导致备份生产速度大于写入速度,后面发现OBserver节点数据磁盘占用率暴涨,目前执行了合并、重启操作,均未能降下去,请各位大佬告知下原因以及解决办法!
观察监控,备份开始时间是9:45,空间开始上涨是9:00整,持续一天!obdiag巡检信息晚点提供!
今天早上自动合并后空间又膨胀不回收!
可参考今天上午发的原始帖子:observer空间占用异常BUG
check_report.rar (12.7 KB)
辞霜
2025 年8 月 22 日 11:33
#3
OceanBase 社区已接收您的帖子,正在跟进中。
旭辉
2025 年8 月 25 日 16:37
#4
8.22号10点自动恢复了,未保留当时OBServer日志,查看OCP历史监控 在8.20号数据量开始增长,由正常7TB至8.22号10点增长至顶峰(OCP显示数据量58.75TB,数据盘占用量13.5TB) ,然后迅速回落至正常水位,OCP上显示的数据量和数据盘占用量 关系 不对(OCP4.3.4,monitor租户配置1C2G,较低 可能导致数据采集不对),前分析这个情况很可能是OCP监控采集到的数据不对,需获取当时monitor租户的性能监控,建议扩容ocp_monitor租户及meta租户及升级OCP至4.3.6,以及下次出现时保留现场日志及黑屏SQL查询获取真实数据情况。
select * from oceanbase.CDB_OB_SPACE_USAGE order by USAGE_BYTES desc;
select * from oceanbase.CDB_OB_SERVER_SPACE_USAGE order by USAGE_BYTES desc;
select * from oceanbase.CDB_OB_TABLE_SPACE_USAGE order by REQUIRED_SIZE desc limit 50;