如何通过参数调优解决 OceanBase 在高并发场景下的内存与存储瓶颈

OceanBase 技术问题
#1

OceanBase 的分布式架构依赖内存管理（如 MemTable）和存储压缩机制（如 LSM Tree）来保证性能，但在高并发事务或大规模数据写入场景中，可能出现内存不足、磁盘 I/O 激增等问题。例如，memory_limit 参数设置不当会导致内存竞争，而 compression_algorithm 选择不当可能影响写入吞吐量。

1 个赞
#3

这个得根据业务查询特点和资源特点来进行参数调整

1 个赞
#4

可以适当控制转储

#5

@论坛小助手

#6

根据文档库中的信息，以下是针对 OceanBase 在高并发场景下可能出现的内存与存储瓶颈问题的参数调优建议：

1. 内存管理优化

OceanBase 的内存管理主要依赖于 MemTable 和 LSM-Tree 架构。在高并发写入场景中，可以通过以下方式优化内存使用：

1.1 调整租户内存配置

  • 增大租户内存：如果环境中的内存资源充足，可以通过调整租户的 MEMORY_SIZE 参数来增加可用内存。例如：

    ALTER RESOURCE UNIT <unit_name> MEMORY_SIZE = '16G';

    （参考文档：关于内存 → 租户内存扩容）

  • 调整 MemTable 比例：当节点总内存有限时，可以调整租户内存中分配给 MemTable 的比例，以扩大可写入内存，并降低转储阈值，让转储更快发生。例如，通过设置 ob_memory_limit_percentage 参数来控制租户内存的使用比例。

1.2 开启写入限速

为了防止因内存不足导致系统崩溃，可以开启写入限速功能，限制客户端导入速度。这可以通过设置相关参数实现，但具体参数需要根据实际业务场景进行调整。

2. 存储压缩与写入性能优化

OceanBase 使用 LSM-Tree 存储引擎，将增量数据存储在 MemTable 中，达到一定阈值后触发 Compaction 转储到 SSTable。因此，在大规模数据写入场景中，存储压缩和写入性能优化尤为重要。

2.1 选择合适的压缩算法

  • OceanBase 支持多种压缩算法（如 lz4、zstd 等），可以通过设置 compression_algorithm 参数选择适合的压缩算法。例如：
    ALTER TENANT <tenant_name> SET compression_algorithm='lz4';
    • lz4：适用于对写入性能要求较高的场景。
    • zstd：适用于对存储空间利用率要求较高的场景。

2.2 调整 Compaction 配置

  • Compaction 是 LSM-Tree 的核心操作之一，频繁的 Compaction 可能会导致磁盘 I/O 激增。可以通过调整以下参数优化 Compaction 行为：
    • minor_freeze_times: 控制 Minor Freeze 的触发频率。
    • major_freeze_trigger: 设置 Major Freeze 的触发条件。

3. 并发执行优化

在高并发事务场景中，可以通过调整并行执行参数提升性能：

3.1 设置全局自适应内存管理

  • 将 workarea_size_policy 参数设置为 AUTO，使执行框架能够以最优策略为各个算子（如 HashJoin、GroupBy、Sort 等）分配内存，同时开启自适应的数据落盘策略。例如：
    ALTER SYSTEM SET workarea_size_policy='AUTO';

3.2 调整线程池配置

  • OceanBase 的多租户架构通过线程和协程分配调度 CPU 资源。如果出现请求队列积压现象，可以适当调整线程池配置以缓解压力。例如，通过设置 parallel_servers_target 参数控制租户在每个节点上可申请的并行执行线程数量。

4. 其他优化建议

4.1 关闭不必要的审计功能

  • 在高并发场景中，关闭 SQL 审计功能和性能事件的信息收集功能可以减少系统开销。例如：
    ALTER SYSTEM SET enable_sql_audit=false;
ALTER SYSTEM SET enable_perf_event=false;

4.2 调整超时时间

  • 设置合理的事务超时时间和 SQL 最大执行时间，避免长时间运行的事务或查询占用过多资源。例如：
    ALTER SYSTEM SET ob_trx_timeout=36000000000;
ALTER SYSTEM SET ob_query_timeout=36000000000;

总结

以上参数调优建议综合了内存管理、存储压缩、并发执行等多个方面的优化措施。具体调优方案需要根据实际业务场景和硬件资源配置进行调整。如果问题仍然存在，建议结合监控工具（如 OCP 或 Prometheus）分析系统瓶颈，并进一步优化。

如果需要更详细的参数说明，请参考 配置项和系统变量概述。

具体信息可参考以下文档:

  1. OceanBase 数据库性能的影响因素
  2. 设置并行执行参数
  3. 在您开始前
  4. 内存相关参数
  5. 租户请求队列积压
  6. 体验 OceanBase 数据库热点行更新能力
  7. 配置最佳实践
#7

好的谢谢！

#8

可以具体点吗，如何控制