大数据量的写入和查询,Oceanbase是否适合

【 使用环境 】 测试环境
【 OB 】
【 使用版本 】版本未确定,应该是最新版本
【问题描述】
目前情境如下:每天有4TB的数据需要在3-5小时内写入Oceanbase集群,这些数据分布在大约5-10个表中,保留约一周;数据写入后需要执行一些查询操作,主要涉及表间的join和group by操作。
【复现路径】问题出现前后相关操作
【问题现象及影响】
目前oceanbase是否适用于这种场景,如果可以,大致的服务器配置应该是什么样的,服务器配置应该何如计算? 或者是否有其他问答贴存在类似问题,请给个连接。感谢!

很适合。

服务器配置按官网写的生产环境配置来,先上一个3节点的OB 集群(1-1-1)。PRIMARY_ZONE 设置为RANDOM ,三节点同时提供读写服务。
然后压测你的业务。 关键点是表设计为分区表,使用分区组。分区数大一些,比如说32、64、128 等。
然后看在这样的配置下业务每小时能写入多少数据量,SQL查询耗时多少。
如果离业务期望还有距离。扩容到 2-2-2,或者 3-3-3 ,然后再看离业务期望差距多少。如此反复直到满足业务需求。
然后稍微多加一个 1-1-1 ,给系统留点余量,以防有节点故障时不满足业务。

2 个赞

资源容量可以参考OBCE教程的第一章(p28-p39) :

2 个赞

点赞

数据其实不算很大

1 个赞

确实

每天有4TB的数据需要在3-5小时内写入Oceanbase集群,集群如果要满足这个性能需求的话,3个节点的集群写入性能达不到的吧。

写入性能是如何估计出来的?

你看下,上面发那个文档,参考OBCE教程的第一章(p28-p39) :

1 个赞

好的