紧急求助！hbase通过oms迁移到kv租户下，导致磁盘撑爆

AntTech_DEZPBX · 2026 年5 月 16 日 23:04

【使用环境】生产环境
【 OB or 其他组件】oms，oceanbase4.6
【使用版本】4.6
【问题描述】hbase通过oms迁移到kv租户下，导致磁盘撑爆，源数据hbase数据量大概150GB左右，目标oceanbase集群一个obproxy，3个data节点，每个data节点的数据目录都是5TB，目前迁移不到1000w的数据发现oceanbase 3个数据节点的磁盘使用率达到了91%，目前已经暂停了迁移。。。
【复现路径】问题出现前后相关操作
【附件及日志】
这是目标表的结构
CREATE TABLE IF NOT EXISTS position$m (
K varbinary(1024),
Q varbinary(256),
T bigint,
V varbinary(1048576) NOT NULL,
PRIMARY KEY (K, Q, T)
)
TABLEGROUP = position
kv_attributes = ‘{“HBase”: {“TimeToLive”: 63072000, “MaxVersions”: 1}}’
PARTITION BY KEY(K) PARTITIONS 193;

AntTech_CRNP6I · 2026 年5 月 17 日 00:16

hbase可以迁移

AntTech_CRNP6I · 2026 年5 月 17 日 00:16

你是如何是

ljware · 2026 年5 月 17 日 07:49

为什么要这么做呢？场景是什么？

Amber_www · 2026 年5 月 17 日 09:19

关于varbinary的问题，hbase通过oms迁移到kv租户下确实是一个重要的考虑因素。在实际应用中，我发现导致磁盘撑爆方法通常更有效。

AntTech_DEZPBX · 2026 年5 月 17 日 09:30

国产化改造，hbase 切换到oceanbase kv

zwm8168 · 2026 年5 月 17 日 09:35

学习中…

独善其身 · 2026 年5 月 17 日 09:37

是不是业务外的其他支撑数据比较多

AntTech_DEZPBX · 2026 年5 月 17 日 09:49

没有实际迁移后数据保存占用量比较小

AntTech_DEZPBX · 2026 年5 月 17 日 09:49

mysql> SELECT K, Q, T, LENGTH(K), LENGTH(Q), LENGTH(V)
FROM position$m
LIMIT 5;
±-------------------------±–±---------------±----------±----------±----------+
| K | Q | T | LENGTH(K) | LENGTH(Q) | LENGTH(V) |
±-------------------------±–±---------------±----------±----------±----------+
| 00050994202^260224020355 | 1 | -1771869839631 | 24 | 1 | 8 |
| 00050994202^260224020355 | 2 | -1771869839631 | 24 | 1 | 20 |
| 00050994202^260225082401 | 1 | -1771979046620 | 24 | 1 | 8 |
| 00050994202^260225082401 | 2 | -1771979046620 | 24 | 1 | 20 |
| 00050994202^260228020745 | 1 | -1772215669288 | 24 | 1 | 8 |
±-------------------------±–±---------------±----------±----------±----------+
5 rows in set (0.14 sec)

Sunshining · 2026 年5 月 17 日 12:04

150G的数据，迁移后，5个T都不够，这啥情况？？？

AntTech_DEZPBX · 2026 年5 月 17 日 14:28

鬼知道呢。。。

AntTech_DEZPBX · 2026 年5 月 17 日 18:06

查询了资料这个好像是预分配，目前实际数据占用很低不知道是不是这样，预分配这么大的吗？±--------------±------±---------------±--------------±--------------±--------------±-------------+
| SVR_IP | ZONE | data_in_use_GB | data_total_GB | data_used_pct | log_in_use_GB | log_total_GB |
±--------------±------±---------------±--------------±--------------±--------------±-------------+
| 192.168.23.5 | zone3 | 7.27 | 3070.80 | 0.24 | 142.25 | 1500.00 |
| 192.168.23.12 | zone1 | 7.33 | 3070.80 | 0.24 | 142.25 | 1500.00 |
| 192.168.23.9 | zone2 | 7.32 | 3070.80 | 0.24 | 142.25 | 1500.00 |
±--------------±------±---------------±--------------±--------------±--------------±-------------+
3 rows in set (0.011 sec)