obloader旁路语法导入

OceanBase
#1

【 使用环境 】测试环境
【 OB or 其他组件 】obloader
【 使用版本 】4.3.1
【问题描述】使用obloader旁路导入时候，执行的是insert效率低下
…/bin/obloader -h ********* -P 2883 -u root -p ‘*********’ --no-sys -c edwoceanbase -t edw -D odata --cut --table ‘ods_table_name’ --ctl-path /data1/APP/ODS/ob-loader-dumper-4.2.7-RELEASE/scrpits/ctrl/ods_table_name.ctrl --log-path=/data1/APP/ODS/ob-loader-dumper-4.2.7-RELEASE/scrpits/log/ods_table_name -f /data1/APP/ODS/ob-loader-dumper-4.2.7-RELEASE/scrpits/data/ods_table_name.unl --column-splitter=x1b
我确定该语句肯定不是正八经的旁路导入，但是旁路导入应该怎么写呢？加入什么参数呢
求大神指点
服务器硬件比较高
数据量较大，单张表TB级挺多的
如何能极限优化，loader越快越好

#3

obloader没用到旁路导入啊，就是单纯的插入SQL
旁路导入只有两个语法，load data 或者 insert into select 语句+hint
如果已经导出成csv文件了，那么就用Load data吧 :joy:

OceanBase分布式数据库-海量数据 笔笔算数

##############################################

下面看到一个帖子，好像obloader是支持旁路导入了，要加上–direct参数和–rpc-port参数

旁路导入-OceanBase 导数工具-OceanBase文档中心-分布式数据库使用文档

#4

image
image950×274 22.5 KB

参考：OceanBase分布式数据库-海量数据 笔笔算数

#5
  1. obloader是java程序可以调优内存
    JAVA_OPTS="$JAVA_OPTS -server -Xms8G -Xmx8G -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=128M -Xss352K"
    JAVA_OPTS="$JAVA_OPTS -XX:+UnlockExperimentalVMOptions -XX:+UseG1GC -Xnoclassgc -XX:+DisableExplicitGC

2.调优observer的内存
https://www.oceanbase.com/docs/common-oceanbase-dumper-loader-1000000001018851
性能调优

3.调优并行度和旁路导入
https://www.oceanbase.com/docs/common-oceanbase-dumper-loader-1000000001018855
–旁路导入ddl+data
obloader -h 192.168.2.31 -P 2881 -u root@sys -p oracle --thread 2 -D test --all --sql --ddl --direct --parallel 5 --rpc-port=2882 --character-set ‘utf8mb4’ -f /root/obloader_dir/
《旁路导入》

4.注意事项：
一定看完您的数据是否满足注意事项

#6

昨天刚折腾过，可以参考一下： 请教咨询 obloader 旁路导入中的 rpc-port 选项含义 - 社区问答- OceanBase社区-分布式数据库

2 个赞
#7

参考下，有相关参数可进行加快导入
https://www.oceanbase.com/docs/common-oceanbase-dumper-loader-1000000001018857
https://www.oceanbase.com/docs/common-oceanbase-dumper-loader-1000000001018855

#8

如何查看load data的执行进度，数据量较大，一直没反应，也不知道是否正在导入

#9

可以count一下表的数据量