【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】obloader4.3.3。ob4.3.5
【问题描述】导入大数据量的文件时(长文本字段的内容 经过base64编码导致内容很长),整个sql文件为45g,在执行导入的时候,我开了16个线程,但是文件解析的时候,没有解析成功,导致拆分文件失败,最后只有一个任务,这就导致单线程跑,设置的线程也没用了。这样效率就降下来很多。
【复现路径】问题出现前后相关操作
【附件及日志】报错日志:[WARN] File /data/text_base64_1.sql splitting error, remaining 77147318667 bytes are skipped, please check the file content and settings. If it is a csv file, please check whether the --column-delimiter setting matches the file content
- 您把 您的 导入导出命令 截图 发出来看下 。
- 导出的文件 内容 发一部分出来 。看下
处理好了,数据格式问题,之前数据格式,是所有insert都在一行,切换成一行一条insert就可以了