1-1-1集群，一节点存储使用非常大，但查询单表存储并不大

[周天]

【 使用环境 】生产环境
【 OB or 其他组件 】oceanbase
【 使用版本 】 5.7.25 OceanBase_CE 4.1.0.0 (r100000202023040520-0765e69043c31bf86e83b5d618db0530cf31b707)
【问题描述】
数据存储分布不均匀，一个节点173G

查询的都不一致

大表就只两张2G左右，是存储的大字段。

SELECT /*+ query_timeout(30000000) */ a.TENANT_ID, a.TABLE_NAME, a.TABLE_ID, sum( CASE WHEN b.nested_offset = 0 THEN IFNULL(b.data_block_count+b.index_block_count+b.linked_block_count, 0) * 2 * 1024 * 1024 ELSE IFNULL(b.size, 0) END ) /1024/1024/1024 AS data_size_in_GB FROM CDB_OB_TABLE_LOCATIONS a LEFT JOIN __all_virtual_table_mgr b ON a.svr_ip = b.svr_ip AND a.svr_port=b.svr_port AND a.tenant_id = b.tenant_id AND a.LS_ID = b.LS_ID AND a.TABLET_ID = b.TABLET_ID WHERE a.role = 'LEADER' AND b.table_type >= 10 AND b.size > 0 GROUP BY a.TABLE_ID order by 4 desc

[longda]

有2种可能
一种可能就是, 你创建集群的时候, 虽然是3台集群, 但你3台集群在一个zone 中, 也就是只有一个副本.
另外一种可能就是, 你创建的是3副本集群, 但你创建租户时, 租户只使用了一个zone.

第一种情况:
建议通过ocp, 先对集群进行缩容, 先下线没有数据的机器, 然后做单机升分布式操作.
黑屏命令非常复杂, 建议通过ocp 进行操作.

对于第二种情况, 类似如下:
alter resource pool sys_pool zone_list=(‘zone1’,‘zone2’,‘zone3’);
alter resource pool pool1 zone_list=(‘zone1’,‘zone2’,‘zone3’);

然后修改locality, 一次改一个,
ALTER TENANT test1 LOCALITY=‘F@zone1,F@zone2’;
ALTER TENANT test1 LOCALITY=‘F@zone1,F@zone2,F@zone3’;

每次改完, 查看
SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE = ‘ALTER_TENANT_LOCALITY’;
看locality 是不是改好了

你是用obd 安装的集群, 还是用ocp 安装的集群.

[墨康]

执行下大合并后看下还是这种情况吗

[周天]

3个zone上都是全能副本

obd 安装的集群。
租户是这样建的

创建资源池
CREATE RESOURCE POOL pool1
UNIT = ‘unit1’,
UNIT_NUM = 1,
ZONE_LIST = (‘zone1’,‘zone2’,‘zone3’);
创建租户
CREATE TENANT IF NOT EXISTS tenant_oa
charset=‘utf8mb4’,
comment ‘mysql oa tenant/instance’,
primary_zone=‘RANDOM’,
resource_pool_list = (‘pool1’) set ob_tcp_invited_nodes = ‘%’;

[周天]

@longda

你创建的是3副本集群, 但你创建租户时, 租户只使用了一个zone.

ALTER SYSTEM MAJOR FREEZE TENANT = all;
这样合并对吧

[墨康]

从语句上看你这个3副本的集群，是的 执行下合并后看下会不会下去

[周天]

合并完成后存储的分布没有改变

[周天]

看起来副本分布比较均匀

[obpilot]

整一个 下面这个 大查询看看, 使用 markdown的引用语法，复制结果文本 或者导出 为 csv 附件。

WITH table_locs AS (
SELECT
	t.tenant_id,
	t.database_name,
	t.table_id,
	t.table_name,
	t.table_type tablet_type,
	t.tablet_id,
	REPLACE(concat(t.table_name,':',t.partition_name,':',t.subpartition_name),':NULL','') tablet_name,
	t.tablegroup_name,
	t.ls_id,
	t.ZONE, 
	t.ROLE,
	t.svr_ip
FROM
	oceanbase.CDB_OB_TABLE_LOCATIONS t
WHERE
	t.data_table_id IS NULL 
UNION
SELECT
	i.tenant_id,
	i.database_name,
	i.table_id,
	t.table_name,
	i.table_type tablet_type,
	i.tablet_id,
	REPLACE(
		REPLACE(concat(i.table_name,':',i.partition_name,':',i.subpartition_name) ,concat('__idx_', i.data_table_id, '_'),'')
		,':NULL',''
	) tablet_name,
	i.tablegroup_name,
	i.ls_id,
	i.ZONE, 
	i.ROLE,
	i.svr_ip
FROM
	oceanbase.CDB_OB_TABLE_LOCATIONS i
INNER JOIN oceanbase.__all_virtual_table t ON
	( i.tenant_id = t.tenant_id
		AND i.data_table_id = t.table_id  )
WHERE i.data_table_id IS NOT NULL 
)
SELECT
	t.database_name,
	t.ls_id,
	t.ROLE,
	t.svr_ip,
	t.table_name,
	t.tablet_name,
	-- group_concat(s.table_type,',') tablet_types,
	round(sum(s.size)/1024/1024/1024,2) size_gb
FROM
	table_locs t JOIN oceanbase.GV$OB_SSTABLES s 
		ON (t.tenant_id=s.tenant_id AND t.ls_id=s.ls_id AND t.svr_ip=s.svr_ip AND t.tablet_id=s.tablet_id)
WHERE
	t.tenant_id = 1002
	AND s.table_type NOT IN ('MEMTABLE')
	-- AND t.ROLE IN ('LEADER')
GROUP BY
	t.database_name,
	t.ls_id,
	t.ROLE,
	t.svr_ip,
	t.table_name,
	t.tablet_name 
WITH ROLLUP
ORDER BY 
	t.database_name,
	t.ls_id,
	t.ROLE,
	t.svr_ip,
	t.table_name,
	t.tablet_name
;