OceanBase表数据倾斜

应用开发者专区
#1

我们公司用的是OceanBase 4.3.4.0社区版，发现数据严重倾斜，该集群只部署了一个zone1，请大佬帮忙提供方案重新均衡数据，感谢。

image
image2251×931 121 KB

#3

部署方法错了。

  1. 用 oceanbase-all-in-one 那个包部署 ocp（单节点就行），然后再用 ocp 部署 OB 。业务数据放独立的 ob 集群里的租户。

  2. 独立的租户 设置 unit_num 为 大于 1 的数。

  3. 大表用分区表。

1 做完了再看 2 和 3.

1 个赞
#4

请问大佬，可不可以这样：1. 新建一个租户存放业务数据；2. 然后再把目前在sys租户的业务数据用分区表重新迁移到新的租户。这样可行吗？

#5

看一下你的租户unit_num应该1如果想均衡需要手动调，租户之间是隔离的数据，建议使用obloader-obdumper进行迁移

#6

好的，感谢。我试试

#7

补充说明一下，sys 租户的 unit_num 改回为 1。 sys 租户的 unit_num 大于 1 没有好处，甚至有害。
没那么做过。
不知道你这种情况下 sys 租户的数据分布如何？
你帮 sys 租户下 查一下下面 SQL，应该只有一笔记录。 也间接说明 同一个 zone 下 其他的机器对 sys租户 而言没有用。

SELECT svr_ip, count(*)
FROM oceanbase.dba_ob_table_locations l
group by svr_ip;
;
2 个赞
#8
  1. 数据倾斜的表现与影响
  • 表现形式：在 OceanBase 中，数据倾斜主要表现为某些分区或者某些节点上的数据量远远超过其他分区或节点。例如，在一个分布式数据库环境下，部分表分区的数据行数可能是其他分区的数倍甚至数十倍。从查询性能角度看，涉及到数据倾斜的分区的查询会比正常分区的查询慢很多，因为数据量过大可能导致单个节点的资源（如 CPU、内存、磁盘 I/O）被过度占用。
  • 对系统的影响：数据倾斜会导致系统性能下降。在进行数据查询、更新等操作时，倾斜的数据可能会使负载不均衡，部分节点负载过重，而其他节点资源闲置。这不仅会影响查询响应时间，还可能导致整个系统的吞吐量降低。在极端情况下，数据倾斜可能会使单个节点的资源耗尽，从而引发系统故障。
  1. 产生数据倾斜的原因
  • 分区键设计不合理：分区键是决定数据如何分布在不同分区的关键因素。如果分区键选择不当，可能会导致数据不均匀地分布在各个分区。例如，在一个按照时间分区的表中，如果业务数据大部分集中在某个特定时间段，就会导致该时间段对应的分区数据量远远大于其他分区。
  • 哈希函数不均匀：当使用哈希分区时，如果哈希函数不能均匀地将数据映射到各个分区，就会产生数据倾斜。比如，哈希函数对于某些特殊的数据值范围产生聚集效应，使得这些数据都被分配到了少数几个分区。
  • 业务数据本身特性：业务数据的分布不均匀也会导致数据倾斜。例如，在一个电商系统中，热门商品的销售记录可能远远多于普通商品，那么存储销售记录的表就会出现数据倾斜，与热门商品相关的数据分区数据量会很大。
  1. 解决数据倾斜的策略
  • 优化分区策略：
    • 重新评估分区键：仔细分析业务数据的分布和访问模式，选择更合适的分区键。例如，对于一个存储用户订单的表，如果按照用户 ID 分区可能会导致数据倾斜（因为部分用户可能有大量订单），可以考虑按照订单日期或者区域等其他因素分区，使得数据能够更均匀地分布。
    • 复合分区：采用复合分区的方式，即先按照一种方式分区，再在每个分区内按照另一种方式细分。比如，先按照业务类型分区，然后在每个业务类型分区内按照时间范围再次分区，这样可以更好地平衡数据分布。
  • 调整哈希算法（如果适用）：如果使用哈希分区导致数据倾斜，可以尝试更换更均匀的哈希算法。或者对数据进行预处理，使得经过哈希函数处理后的数据能够更均匀地分布在各个分区。例如，对数据进行一些简单的变换，如添加随机数或者对数据进行归一化处理后再进行哈希分区。
  • 数据重分布：
    • 动态重平衡：OceanBase 提供了一些工具和机制来进行数据的动态重平衡。通过监控数据分布情况，当发现数据倾斜超过一定阈值时，自动触发数据重分布操作，将数据从数据量较大的分区转移到数据量较小的分区。
    • 手动重分布：在一些情况下，也可以手动执行数据重分布。例如，通过编写 SQL 脚本或者使用数据库管理工具，将倾斜分区中的部分数据迁移到其他分区。不过这种方式需要谨慎操作，避免对正在进行的业务产生影响。
  • 业务层面优化：从业务角度出发，对数据的产生和存储方式进行优化。例如，对于数据量过大且容易导致倾斜的业务数据，可以考虑进行数据归档或者拆分。将历史数据或者不经常访问的数据存储到其他存储介质或者单独的表中，减少主表的数据量和数据倾斜的可能性。