OceanBase 数据库从 V4.1 版本起支持旁路导入的方式向数据库插入数据,该方法支持直接向磁盘文件中直接写入数据的功能,缩短了数据写入通路,从而提高数据的导入效率。
—— 上文出自 OceanBase 官网文档
前一阵儿在用户现场协助对 OB 进行性能测试,发现用户经常要通过 insert into select 把上亿行的数据插入到一张大宽表里,每次大批量的数据插入都要等上半个钟头。
然后建议用户试试旁路导入,结果不到五分钟就把相同的数据量导入完成了。我当时虽然表面上很平静,但是内心里还是十分开心的,用户那边的 DBA 同学们也半开玩笑地说:“看来导入数据带来的咖啡时间红利马上就要没有了。”
正好不久前旁路导入的研发同学剑鸣做了一个旁路导入的技术分享,在本期课程里和大家分享这篇学习笔记。
笔记中简单记录了一下旁路导入的大致实现思路,以及用户在使用过程中要注意的一些点,欢迎各位老师批评指正!