OceanBase数据库中,数据的编码压缩主要发生在哪个阶段

培训中心
#1

OceanBase数据库中,数据的编码压缩主要发生在哪个阶段

#2

@社区小助手

#3
  1. 写入阶段：
  • 当数据写入 OceanBase 时，首先会被写入到内存中的 MemStore。在 MemStore 中，数据会进行初步的编码和压缩，以减少内存占用。
  • OceanBase 使用多种压缩算法（如 ZSTD、LZ4 等）对数据进行压缩，具体使用的压缩算法可以通过配置参数进行调整。
  1. SSTable 生成阶段：
  • 当 MemStore 中的数据达到一定阈值时，会触发 MemStore 的刷新（Flush）操作，将数据写入磁盘，生成 SSTable（Sorted String Table）。
  • 在生成 SSTable 的过程中，数据会进一步进行编码和压缩，以减少磁盘存储空间。OceanBase 会对 SSTable 中的数据进行块级压缩，每个数据块（Block）独立压缩，以提高压缩效率和查询性能。
  1. 合并阶段：
  • OceanBase 定期会进行数据合并（Compaction）操作，将多个 SSTable 合并为一个更大的 SSTable，以减少磁盘上的文件数量和提高查询性能。
  • 在合并过程中，数据会重新进行编码和压缩，以进一步优化存储空间和查询效率。

总结来说，OceanBase 数据库中的数据编码压缩主要发生在写入阶段、SSTable 生成阶段和合并阶段。通过这些阶段的编码和压缩，OceanBase 能够有效地减少数据存储空间，提高系统性能和查询效率。

1 个赞
#4

转储的时候不做编码压缩，但会做通用压缩
合并的时候分阶段，minor compaction的时候也是只做通用压缩， major compaction的时候会做编码压缩+通用压缩

2 个赞
#5

应该是第二阶段吧

#6

谢谢老师

1 个赞