TPC测试结论输出问题

请教下各位大佬,最近在做TPC-H测试,同样SIZE的样本数据,第1次和之后多次的测试结果差别非常大,我可以理解这两者的区别是因为第1次之后数据缓存了,所以查询速度快了很多;具体来说我做了个测试:
SIZE 30G,第1次完成全部查询耗时 423.6 秒,第2次完成全部查询耗时 141.4 秒。

PS:不知道社区版文档里面的TPC-H测试报告中是怎么选取结果的,报告地址:https://www.oceanbase.com/docs/community/observer-cn/V3.1.4/10000000000450308

那么,我需要以哪次结果作为结论输出到测试报告比较合适呢?类比的,类似的其它(比如微服务、缓存系统等等)性能测试报告都会存在同样的问题,这个结果的选取是不是有什么选择依据或者说法。

1 个赞

经过预热后,取一个结果就行吧

一般的性能测试都会支持预热吧