大量数据处理方案

OceanBase 技术问题
#1

对于打到500万以上的数据怎么处理可以提高运行效率。当前670万的数据要运行45分钟

#3

是哪一种运行？简单查询还是哪一种

#4

insert into * select

#5

insert into * select /*+parallel(8) */

加并行试试？

1 个赞
#6

旁路导入应该最快。
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000002013744

–但是要考虑是否锁表哈。

#7

建议并行之前，看一下租户是否已经满载，看看集群资源是否有余量可以给租户，如果CPU使用已经非常高了，并行不一定有效，反之可以考虑并行方式。

#8

500W 45分钟这个明显不符合预期的，你查询的部分单独拿出来执行快吗

#9

单独查询很慢

#10

单独查询的执行计划拿出来看下

#11

使用obdaig收集一下sql信息

SQL性能问题

, 此处env中的trace_id对应gv$ob_sql_audit的trace_id
obdiag gather scene run --scene=observer.perf_sql --env “{db_connect=’-hxx -Pxx -uxx -pxx -Dxx’, trace_id=‘xx’}”