紧急求助！hbase通过oms迁移到kv租户下，导致磁盘撑爆

OceanBase 技术问题
#1

【 使用环境 】生产环境
【 OB or 其他组件 】oms，oceanbase4.6
【 使用版本 】4.6
【问题描述】hbase通过oms迁移到kv租户下，导致磁盘撑爆，源数据hbase数据量大概150GB左右，目标oceanbase集群一个obproxy，3个data节点，每个data节点的数据目录都是5TB，目前迁移不到1000w的数据 发现oceanbase 3个数据节点的磁盘使用率达到了91%，目前已经暂停了迁移。。。
【复现路径】问题出现前后相关操作
【附件及日志】
这是目标表的结构
CREATE TABLE IF NOT EXISTS position$m (
K varbinary(1024),
Q varbinary(256),
T bigint,
V varbinary(1048576) NOT NULL,
PRIMARY KEY (K, Q, T)
)
TABLEGROUP = position
kv_attributes = ‘{“HBase”: {“TimeToLive”: 63072000, “MaxVersions”: 1}}’
PARTITION BY KEY(K) PARTITIONS 193;

image
image1638×742 30.4 KB

image

4 个赞
#3

hbase可以迁移

3 个赞
#4

你是如何是

2 个赞
#5

为什么要这么做呢？场景是什么？

2 个赞
#6

关于varbinary的问题，hbase通过oms迁移到kv租户下确实是一个重要的考虑因素。在实际应用中，我发现导致磁盘撑爆方法通常更有效。

2 个赞
#7

国产化改造，hbase 切换到oceanbase kv

2 个赞
#8

学习中…

1 个赞
#9

是不是业务外的其他支撑数据比较多

#10

没有 实际迁移后数据保存占用量比较小

#11

mysql> SELECT K, Q, T, LENGTH(K), LENGTH(Q), LENGTH(V)
FROM position$m
LIMIT 5;
±-------------------------±–±---------------±----------±----------±----------+
| K | Q | T | LENGTH(K) | LENGTH(Q) | LENGTH(V) |
±-------------------------±–±---------------±----------±----------±----------+
| 00050994202^260224020355 | 1 | -1771869839631 | 24 | 1 | 8 |
| 00050994202^260224020355 | 2 | -1771869839631 | 24 | 1 | 20 |
| 00050994202^260225082401 | 1 | -1771979046620 | 24 | 1 | 8 |
| 00050994202^260225082401 | 2 | -1771979046620 | 24 | 1 | 20 |
| 00050994202^260228020745 | 1 | -1772215669288 | 24 | 1 | 8 |
±-------------------------±–±---------------±----------±----------±----------+
5 rows in set (0.14 sec)

#12

150G的数据，迁移后，5个T都不够，这啥情况？？？