关于导数工具的咨询

OceanBase 技术问题
#1

【 测试环境 】
【 OB loader导数工具】
【 使用版本 4.3.1.1-RELEASE 】
【问题描述】
问题1：导入文本文件时，会经常出现
[Load task is aborted with error code: -5024]的报错，看文档说是主键冲突，但是查看文本并没有重复的主键，新建一个不带主键的表后查看key(原来的主键)，确实有很多重复的，怀疑是有重复导入数据的问题

问题2：如果数据切片很多，多到几千个这样，我能否开多个机器进行不同的导入，但是导入的是同一张表？

问题3：从HDFS拉数据，是否能拉兼容hdfs协议的文件系统(schema可能并不叫hdfs而是叫自定义的名称)

1 个赞
#3

第一个问题的意思是文本里面看不到重复的主键，但是导入的时候主键会重复？那么最后导入的数据量跟文本一致吗。。会不会是文本数据本身就是重复的？

第二个可以，只要文件多切点出来并且CPU能开启足够多线程数就行

第三个肯定不行啊，obloader都没办法直接读取HDFS的数据，只能是SQL、CSV或者自定义分割符的数据

#4

OceanBase 社区已接收您的帖子，正在跟进中。

#5

在文本里查了下重复的key，确定只有一条

#6

5024确实是主键重复，遇到过同类报错，不过不是在导数的时候

#7

意思是文本里面100条数据，最后导入到无主键表中超过100条数据？