每晚夜里磁盘io特别高

[AntTech_NHY7X8]

【 使用环境 】生产环境
【 OB or 其他组件 】
ob的版本为4.2.1.3
【问题描述】磁盘io特别高
每晚从22点开始磁盘io就变高了，会一直持续到凌晨4点，其中2点开始会有合并到4点会结束合并，目前研发侧也没有定时任务，sql请求量晚上是低峰，数据备份是从4点半开始的
【附件及日志】

查看了凌晨1点到1点30分的sql 慢日志，也没有奇怪的地方

查看了凌晨1点到1点30分top sql也没有看出特别慢

[辞霜]

2-4时间段磁盘io高正常，合并需要数据落盘，minor sstable 合并为major sstalbe。22-02时间段部分节点io高需要看一下相关日志记录信息了。
麻烦筛选下相关节点时间段的grep “IO STATUS” 查看IO配置、实时iops

[AntTech_NHY7X8]

@辞霜

IO STATUS

附件是其中一个节点过滤io status的日志信息
observer.log (4.5 MB)
截图是对应节点的iops监控信息

[Sunshining]

有些工作都是半夜开始干活啊

[AntTech_NHY7X8]

合并是2点开始的，备份是4点半开始的，但是这个io高从晚上10点就开始了，而且其他集群都没有这个问题，是个异常的风险点

[辞霜]

没有什么异常，最高的1002租户期间iops才500多

[AntTech_NHY7X8]

这个io占用率才20%，有的节点从晚上10点开始甚至达到了40%，虽然说不影响业务，但是目前主要的疑问是为何从22点开始就会有那么高的io，可能是个潜在的风险点，需要优化掉

[秃蛙]

22点开始IOPS明显打高，需要确认下22点打高的业务是正常的吗。

推荐使用obdiag的ash采集分析下这个时间段业务，可以帮你确认下。
https://www.oceanbase.com/docs/common-obdiag-cn-1000000004222807

[AntTech_NHY7X8]

在22点以后业务量开始下降，sql量也在下降，特别是0点到2点业务量很小很小，采集的日志我稍后发一下

[秃蛙]

ob 默认每天 22点 会做统计信息收集，可以看下。
https://www.oceanbase.com/knowledge-base/oceanbase-database-1000000004154958?back=kb