历史数据存储到ob上问题

巨量历史数据想存储到ob上,但是全部放到ssd或者更power性能介质上的可能性很低,当下成本太大。
现在都情况是每台主机有500G SSD盘 和96T的HDD(12个8T裸盘,每个裸盘一个挂载)
clog放在ssd上,datafile放到hdd上,但是ob又不支持多目录存储,有点难搞。

@论坛小助手

根据您的描述,您希望将巨量的历史数据存储到OceanBase (OB) 上,但出于成本考虑,不能全部使用高性能介质如SSD。您计划在每台主机上采用500G SSD盘存放clog日志,并且利用96T的HDD存储实际的数据文件(datafile),然而遇到了OceanBase不支持多目录存储的问题。

对于上述情况的建议如下:

  1. 确认版本与功能限制:
    首先,请确认您当前使用的OceanBase版本是否为最新或特定支持共享存储(Shared-Storage, SS)模式的版本。文档中提到,在某些配置下,共享存储模式可能受到一些限制(共享存储),例如不支持列存引擎、物理备库等,但这似乎并不直接涉及多目录支持问题。不过,重要的是检查是否有其他相关的已知局限性影响您的具体需求。

  2. 探索替代方案:

    • 虽然OceanBase官方目前可能确实没有直接支持将不同类型的文件分散存储在不同介质上的选项,但是您可以考虑使用更高级别的策略来缓解这个问题,比如调整数据压缩比率、选择合适的数据类型减少存储占用等方法。
    • 另外一个可能的解决思路是通过调整租户级别的设置,特别是那些影响内存使用效率及磁盘I/O性能的参数,例如memory_limit和system_memory配置(参见系统内部内存管理),以优化现有资源下的数据库性能。
  3. 咨询社区和支持团队:
    您已经尝试了将关键组件clog放置于SSD上来提高事务处理速度的做法,这是合理的。但由于您提到的多目录存储问题似乎是当前架构的一个局限,建议您向OceanBase的官方论坛或者技术支持团队寻求进一步的帮助。他们可能会提供针对您具体情况的工作绕过方案或是未来版本中的改进信息。

  4. 监控与调优:
    无论采取哪种方式,实施后都需要密切监控系统的运行状态,包括但不限于内存利用率、IOPS以及吞吐量指标。可以参考OceanBase提供的内存管理指南(内存管理概述)以及其他最佳实践文档来进行持续优化。

请根据这些建议进行操作,并保持与OceanBase社区的联系获取更多专业指导。希望这些建议能帮助您找到满意的解决方案!如果还有其他具体问题需要讨论,也欢迎继续提问。

详情请参考:

  1. 内存问题诊断
  2. 产品 FAQ
  3. 内存管理概述
  4. 节点数据盘空间满
  5. 表存储
  6. 使用限制
  7. 数据库对象存储
  8. 系统内部内存管理
  9. 集群管理 FAQ
  10. undo_retention