obloader旁路导入大量数据-报错4392

【 使用环境 】生产环境
【 obloader版本 】4.3.3-RELEASE
【 OceanBase使用版本 】4.3.4
【问题描述】使用obloader旁路导入大量数据,运行脚本如下:

./obloader -h 192.168.101.51 -P 2883 -u dw@tnt_dw#obccc -t tnt_dw -c obccc -p ***** -D safe_net_dw \

--table dwd_call_details \

--auto-column-mapping \

--csv  \

--tmp-path /data/load \

--thread 50 \

--parallel 50 \

--direct \

--rpc-port 2885 \

-f 'hdfs://192.168.101.36:8020/data/export/oceanbase_import/sub_folder_1/dwd_call_details?hdfs-site-file=/backup/hdfs-site.xml&core-site-file=/backup/core-site.xml'

运行到最后的时候报错:Error: status:ERRoR,errorcode:-4392

【复现路径】无

【附件及日志】

【备注】最后单独导入dwd_ca1l details.782.csv文件是成功的。

1 个赞

看着命令有问题????可以提供一下tmp目录下完整的日志看看撒

1 个赞
ERROR 4392 (HY000) : disk is hung

* OceanBase 错误码:4392
* 错误原因:磁盘故障。

数据库磁盘满了?

2 个赞

看上去是存储方面的的问题吧

1 个赞

看报错是磁盘可能hung了,ocp是否产生了相关告警,服务器上tsar或者sar看下磁盘

1 个赞

没有 磁盘容量很充足

1 个赞

确实是dev8-16 性能不足

1 个赞

并发调低些,避免达到io瓶颈

1 个赞

前两天 通过300并发 一次性导入过200亿数据。最终也是成功的

一开始100并发的时候,速度大概是50w/秒,调成300并发,速度能到200w/s

这次导入600多亿出了问题。

再次请教一下:这个并行度官方文档建议与租户 CPU 规格一致。这个CPU指的是分配给租户单个unit的核数吗?

1 个赞

是的,
理论上最大活跃线程数为 租户max_cpu * cpu_quota_concurrency
cpu_quota_concurrency:默认值为 4,可以根据实际需求适当调高(例如 6 或 8),但需注意风险

2 个赞