OceanBase 4.0.0 DATA LOAD 性能问题

OceanBase 技术问题
,
#1

【 使用环境 】

服务器

CPU Kunpeng-920
Architecture aarch64
On-line CPU(s) list 0-7
CPU主频 2600MHz

操作系统

NAME="openEuler"
VERSION="20.03 (LTS-SP2)"
ID="openEuler"
VERSION_ID="20.03"
PRETTY_NAME="openEuler 20.03 (LTS-SP2)"
ANSI_COLOR="0;31"

【 OB or 其他组件 】
DATA LOAD
【 使用版本 】
OceanBase 4.0.0
【问题描述】
使用 DATA LOAD 功能导入700M的csv文件，在1000s内不能完成。
参考：https://www.modb.pro/db/579547
【复现路径】
https://www.modb.pro/db/579547
改文档有测试过程和方法。

【问题现象及影响】
性能无法满足使用要求。
【附件】

1 个赞
#2

那就试试官方另一款obloader工具进行导入，可以并发导入。

官方文档：
https://www.oceanbase.com/docs/community-obloaderdumper-cn-10000000000014229

下载地址：
https://open.oceanbase.com/softwareCenter/community

1 个赞
#4

看了下复现方式，OceanBase采用的是obd demo的方式部署？并且使用的是sys租户做测试？
这样估计不能发挥系统所有的能力，默认的sys租户cpu和内存占比都不太高；

1 个赞
#5

oceanbase 客户端导数工具：OceanBase 官方的客户端导数工具 - 墨天轮
如果你在使用 OceanBase 以及 客户端导数工具的过程中有任何问题可以联系我，一起讨论交流~

#6

是的，我也发现这个问题了，之前也在GitHub上提了个issue（关于CPU使用率100%的），由于我手头环境比较差，后续也准备写一篇关于OceanBase导入性能的帖子重新测试ob最佳状态下的导入性能。

#7

首先感谢OceanBase的老师对我之前帖子的关注，您提到了客户端导数工具（OBLOADER）和服务端导数工具(LOAD DATA)都可以实现导数功能。我在测评帖子里面使用的应该就是您说的“LOAD DATA”吧？使用LOAD DATA主要的目的也是对标mysql的load data。当然，load data并不能反应出OB的最佳导入性能，就像openGauss的测试结果一样。本来我是想这两天也出一篇《OceanBase洗冤录》，没想到OB老师这么快就完成了“为自己代言” :+1: 。那我就简单说两点：

  1. 玉璁老师是否测试过load data的性能？是否与我帖子中的的是结果相符？（1000s没有跑出结果。）
  2. obloader是否支持向mysql导入数据？如果可以，是否测试一下obloader同样场景下在mysql上的性能？

如果你在使用 OceanBase 以及 客户端导数工具的过程中有任何问题可以联系我，一起讨论交流~

实际上上面两个问题就是想了解一下，在数据导入方面使用同样工具，ob和mysql谁的性能会好一点，烦请老师帮忙解答，谢谢~