客户端旁路导入性能

OceanBase 技术问题
#1

【 使用环境 】测试环境
【 OB or 其他组件 】
【 使用版本 】4.2.2
【问题描述】使用客户端旁路导入，导入性能太低，都是400Mb的csv文件，一开始耗时40多秒，执行到后面，每个文件耗时200多秒。
导入语句：LOAD DATA /*+ DIRECT(false,0) PARALLEL(8) */ LOCAL INFILE’XXXXX’ INTO TABLE XXX FIELDS TERMINATED BY ‘,’(ID,COL1,COL2,COL3)。
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接（右键跳转查看）：

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

#3

用户问题: 在测试环境下使用 OceanBase 客户端旁路导入 400MB 的 CSV 文件时，性能逐渐下降，从最初 40 秒增加到 200 多秒，如何提升导入性能？

推荐使用 obdiag 工具进行日志采集，通过收集相关日志来进一步分析性能下降的原因。

日志采集场景: SQL性能问题
日志采集命令: obdiag gather scene run --scene=observer.perf_sql --env “{db_connect=’-h127.0.0.1 -P2881 -utest@test -p****** -Dtest’, trace_id=‘Yxx’}”

请您提供一些额外的信息，以便我们能够更准确地帮助您分析并解决问题：

  1. 导入过程中是否有其他操作或任务同时运行？
  2. OceanBase 版本和操作系统版本是什么？
  3. 导入文件的数据结构和表结构能否提供？特别是表索引和分区情况。
  4. 是否开启了审计日志？如果有，请提供相关配置。
  5. 能否提供导入时服务器的资源使用情况（CPU、内存、I/O 等）？
  6. 是否可以尝试减少并行度进行测试，观察性能变化？例如将并行度设置为4或者更低。
  7. 是否尝试过使用直接加载（DIRECT=true）的方式进行导入？这可能会绕过一些缓冲，提高加载速度，但需注意这可能会影响数据的完整性检查。

附上敏捷诊断工具 obdiag 使用帮助链接