合并有几种级别？

OceanBase 技术问题
#1

@论坛小助手 buffer表的合并策略算吗？
不算的话是只有集群级别和租户级别的合并吗？

#3

根据文档库中的信息，OceanBase 数据库中的合并主要分为以下几种级别和类型：

  1. 增量合并：仅仅合并被修改过的宏块，没有改变的宏块进行复用。这种合并极大地减少了合并的工作量，是 OceanBase 数据库目前默认的合并算法。（依据：《合并管理概述 → 合并分类》）

  2. 全量合并：将静态数据全部读出并和动态数据合并为最终的静态数据。这种合并时间长，耗费 IO 和 CPU。（依据：《合并管理概述 → 合并分类》）

  3. 渐进合并：每次全量合并一部分，若干轮次后整体数据被重写一遍。（依据：《合并管理概述 → 合并分类》）

  4. 并行合并：将数据划分到不同线程中并行做合并。（依据：《合并管理概述 → 合并分类》）

关于 buffer 表的合并策略，文档中并未提及具体的 buffer 表合并策略是否单独作为一种合并级别。但从描述来看，buffer 表相关的合并更可能属于转储（Minor Compaction）的一部分，即当 MemTable 的大小超过一定阈值时，需要将 MemTable 中的数据转存到 SSTable 中以释放内存，这一过程称之为转储。转储会生成新的 SSTable，而当转储的次数超过一定阈值时，系统会触发合并（Major Compaction），即将基线 SSTable 与之后转储的增量 SSTable 给合并为一个 SSTable。（依据：《转储和合并概述》）

因此，如果不考虑 buffer 表的特殊合并策略，合并主要是在集群级别和租户级别进行的。从 OceanBase 数据库 V4.0.x 版本开始，合并将采用统一合并策略来执行合并流程，即租户的所有 Zone 同时开始执行合并，且所有 Zone 均完成合并后，才表示该租户完成合并。（依据：《手动控制合并》）

综上所述，OceanBase 数据库中的合并主要分为增量合并、全量合并、渐进合并和并行合并等类型，而不特别区分 buffer 表的合并策略。如果需要更详细的 buffer 表合并策略信息，可能需要进一步查阅相关技术文档或联系 OceanBase 技术支持团队。

更多信息请查看:

  1. 登录 OceanBase 租户
  2. 合并管理概述
  3. 存储架构概述
  4. OceanBase 数据库性能的影响因素
  5. 手动控制合并
  6. 转储和合并概述
  7. OceanBase 数据库整体架构
  8. oceanbase.DBA_OB_ZONE_MAJOR_COMPACTION
2 个赞
#4

@论坛小助手 讲解一下集群合并、租户合并和buffer表的合并策略

1 个赞
#5

这一方面在官网文档好像有详细的介绍,不知道我说的对不对,minor major mini 等几种吧

1 个赞
#6

全量，增量，渐进

2 个赞
#7

4x没有集群级别合并，拆分到租户下面了，buffer是分区级别的合并

2 个赞
#8

根据文档库中的信息，以下是对集群合并、租户合并和 buffer 表的合并策略的详细讲解：

1. 集群合并

  • 定义：集群合并是指在 OceanBase 数据库中，整个集群范围内的数据合并操作。这种合并通常涉及多个租户的数据。
  • 触发方式：
    • 手动触发：系统租户可以通过执行 ALTER SYSTEM MAJOR FREEZE 命令来发起存储层的合并或转储（冻结）。例如：
      obclient> ALTER SYSTEM MAJOR FREEZE;
    • 自动触发：当转储产生的增量数据积累到一定程度时，系统会自动触发 Major Freeze 实现大版本的合并。（依据：《MAJOR 和 MINOR → 示例》）

2. 租户合并

  • 定义：租户合并是指针对特定租户的数据进行合并操作。租户可以是用户租户或系统租户。
  • 触发方式：
    • 系统租户可以发起所有用户租户或 Meta 租户的合并：
      obclient> ALTER SYSTEM MAJOR FREEZE TENANT = all_user;
obclient> ALTER SYSTEM MAJOR FREEZE TENANT = all_meta;
    • 普通租户可以发起自身的每日合并或分区级别的每日合并：
      obclient> ALTER SYSTEM MAJOR FREEZE;
obclient> ALTER SYSTEM MAJOR FREEZE TABLET_ID = 5;
    • 用户租户还可以暂停、恢复或清理合并出错标记：
      obclient> ALTER SYSTEM SUSPEND MERGE;
obclient> ALTER SYSTEM RESUME MERGE;
obclient> ALTER SYSTEM CLEAR MERGE ERROR;
    • 租户级合并与分区级合并存在互斥关系，命令执行成功并不代表分区合并发起成功。用户可以通过视图 GV$OB_TABLET_COMPACTION_HISTORY 查看指定分区中 TYPE='MEDIUM_MERGE' 的合并信息来确认合并是否成功发起。（依据：《手动触发合并 → 用户租户手动发起合并》）

3. Buffer 表的合并策略

  • 定义：Buffer 表的合并策略主要涉及到内存表（MemTable）与磁盘表（SSTable）之间的数据转储和合并。
  • 过程：
    • 当 MemTable 的大小超过一定阈值时，需要将 MemTable 中的数据转存到 SSTable 中以释放内存，这一过程称之为转储（Minor Compaction）。
    • 转储会生成新的 SSTable，而当转储的次数超过一定阈值时，系统会触发合并（Major Compaction），即将基线 SSTable 与之后转储的增量 SSTable 给合并为一个 SSTable。
    • 这种合并策略确保了数据的一致性和高效性，同时减少了磁盘 I/O 的开销。（依据：《MAJOR 和 MINOR → 描述》）

综上所述，OceanBase 数据库中的合并操作主要包括集群合并、租户合并和 buffer 表的合并策略。集群合并涉及整个集群范围内的数据，租户合并针对特定租户的数据，而 buffer 表的合并策略则关注内存表与磁盘表之间的数据转储和合并。这些合并策略共同确保了数据库的高性能和高可用性。

如果需要更详细的 buffer 表合并策略信息，可能需要进一步查阅相关技术文档或联系 OceanBase 技术支持团队。

更多信息请查看:

  1. 合并和分裂资源池
  2. 合并管理概述
  3. MAJOR 和 MINOR
  4. 租户的资源管理
  5. 手动触发合并
  6. 租户跨 Zone 资源管理
  7. 集群总览

(小助手的答复已结束，如未能解决您的问题，请继续提问并等待其他同学的回复，谢谢！)

2 个赞
#9

buffer表的合并分不同场景下使用不同的等级，不建议太过频繁，会对集群级别的合并有些影响。

1 个赞
#10

等于V4只有租户合并和分区合并，是这个意思吗？