请简述 OceanBase 的 LSM-Tree 存储引擎的写入流程,并说明转储(Minor Compaction)和合并(Major Compaction)的区别。

请简述 OceanBase 的 LSM-Tree 存储引擎的写入流程,并说明转储(Minor Compaction)和合并(Major Compaction)的区别。

写入流程:

  1. 客户端发起写入请求后,数据首先写入内存中的 MemTable(由 BTree + HashTable 组成)
  2. 同时写入 CLog(Commit Log / Redo-Log 事务日志),通过 Paxos 协议将日志同步到多数派副本
  3. 当 MemTable 大小达到 memstore_limit_percentage 设定的阈值时,MemTable 被冻结
  4. 冻结后的 MemTable 异步刷盘,生成 Mini SSTable(增量静态数据文件)

转储 vs 合并:

  • 转储(Minor Compaction): 将冻结的 MemTable 刷盘生成 Mini SSTable 的过程。是增量数据的落盘操作,不涉及已有基线数据的处理。
  • 合并(Major Compaction): 将多个 Mini SSTable 与旧的 Major SSTable 合并,生成新的 Major SSTable。这是基线数据的更新操作,会清理过期数据、删除冗余版本、回收空间。合并后查询性能最优,因为只需要读取一个 Major SSTable。通常由 minor_freeze_times 参数控制触发时机。