如何提高obloader的效率

[AntTech_OMFHF3]

【 使用环境 】生产环境
【 使用版本 】ob-loader-dumper-4.2.7-RELEASE
【问题描述】

1. 导出的数据量
   

   

2. 执行语句

ob-loader-dumper-4.2.7-RELEASE/bin/obloader  -h 127.0.0.1 -P 2881 -u root -t xxxmysql -p 'xxxx' -D datatest --ddl --sql -f /data/xxx/TABLE/ --table="{指定图中的表}"

3. 执行时间超过5分钟
   

【问题】

1. 如何提高导入效率

[鱼干]

可以参考下旁路导入相关

[AntTech_OMFHF3]

导数工具版本：4.2.7
ob版本：Server version: OceanBase_CE 4.2.0.0
执行语句：

ob-loader-dumper-4.2.7-RELEASE/bin/obloader  -h 127.0.0.1 -P 2881 -u root -t xxxmysql -p 'xxxx' -D datatest --ddl --sql -f /datatest/TABLE/ --table='system_log,a_log' --direct --parallel=2 --rpc-port=2882

报错提示：

2024-02-06 13:26:14 [ERROR] Cannot establish connection to server. Table: system_log. Reason: not supported ob version 4.2.0.0
2024-02-06 13:26:14 [ERROR] Load failed! Error: not supported ob version 4.2.0.0
2024-02-06 13:26:14 [ERROR] System exit 1

【问题】
文档上看支持4.2.0版本，但仍报错

[序风]

observer具体的小版本发一下看看呢？show variables like ‘%version%’;

[AntTech_OMFHF3]

[秃蛙]

OB和obp升级到421 看下，这里的420版本是其中的一个小版本，建议升级到421最新版本看下。420已经不维护了。

[AntTech_OMFHF3]

旁路导入，有规定限制要导入的源文件类型吗？ 例如csv或sql类型的导出数据

[秃蛙]

没有，导入的时候 也有参数控制 指定文件类型。

[OceanBase-玉璁]

1. 导入 DDL 语句, 尽量只导一次；
2. 导入数据，尽量选择CSV格式；
3. 其它性能优化可以看官方文档；