如何提高obloader的效率

OceanBase
#1

【 使用环境 】生产环境
【 使用版本 】ob-loader-dumper-4.2.7-RELEASE
【问题描述】

  1. 导出的数据量

    image
    image260×642 4.99 KB

  2. 执行语句

ob-loader-dumper-4.2.7-RELEASE/bin/obloader  -h 127.0.0.1 -P 2881 -u root -t xxxmysql -p 'xxxx' -D datatest --ddl --sql -f /data/xxx/TABLE/ --table="{指定图中的表}"
  1. 执行时间超过5分钟
    image

【问题】

  1. 如何提高导入效率
#3

可以参考下旁路导入相关

image
image1117×914 134 KB

1 个赞
#4

导数工具版本：4.2.7
ob版本：Server version: OceanBase_CE 4.2.0.0
执行语句：

ob-loader-dumper-4.2.7-RELEASE/bin/obloader  -h 127.0.0.1 -P 2881 -u root -t xxxmysql -p 'xxxx' -D datatest --ddl --sql -f /datatest/TABLE/ --table='system_log,a_log' --direct --parallel=2 --rpc-port=2882

报错提示：

2024-02-06 13:26:14 [ERROR] Cannot establish connection to server. Table: system_log. Reason: not supported ob version 4.2.0.0
2024-02-06 13:26:14 [ERROR] Load failed! Error: not supported ob version 4.2.0.0
2024-02-06 13:26:14 [ERROR] System exit 1

【问题】
文档上看支持4.2.0版本，但仍报错

image
image1321×450 32.9 KB

#5

observer具体的小版本发一下看看呢？show variables like ‘%version%’;

#6

image
image1030×355 9.9 KB

#8

OB和obp升级到421 看下，这里的420版本是其中的一个小版本，建议升级到421最新版本看下。420已经不维护了。

#9

旁路导入，有规定限制要导入的源文件类型吗？ 例如csv或sql类型的导出数据

#10

没有，导入的时候 也有参数控制 指定文件类型。

#11
  1. 导入 DDL 语句, 尽量只导一次；
  2. 导入数据，尽量选择CSV格式；
  3. 其它性能优化可以看官方文档；