obloader 导入表时候相同表结构导入出错

OceanBase 技术问题
#1

【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】
【 使用版本 】最新版
【问题描述】清晰明确描述问题
【复现路径】问题出现前后相关操作
【附件及日志】Data truncated for column ‘x’ at row 1 ，并且新表查询比之前表速度较慢

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

#3

根据文档库中的信息，您遇到的 obloader 导入表时出现 Data truncated for column 'x' at row 1 错误，以及新表查询速度较慢的问题，可以从以下几个方面来排查和解决：

  1. 数据截断问题：

    • 错误解释：这个错误提示表明在导入数据时，某些字段的数据长度超过了表定义的最大长度，导致数据被截断。 [1]
    • 解决方案：
      • 检查源数据文件中对应列的数据长度，确保它们不超过目标表中相应列的最大长度。
      • 如果确实存在数据长度超过列定义的情况，可以考虑调整目标表中相应列的长度，或者对源数据进行预处理，截断或转换数据以符合目标表的定义。

  2. 查询性能问题：

    • 性能下降原因：
      • 新表的索引可能没有正确创建或优化。
      • 新表的数据分布可能不均匀，导致查询性能下降。
      • 新表的统计信息可能未更新，影响查询优化器的选择。
    • 解决方案：
      • 检查索引：确保新表上的索引与旧表一致，并且索引已经创建成功。
        SHOW INDEX FROM your_table;
      • 分析表：更新表的统计信息，帮助查询优化器做出更好的决策。
        ANALYZE TABLE your_table;
      • 检查数据分布：确保数据在各个分区或副本上均匀分布，避免热点问题。
        SELECT * FROM oceanbase.CDB_OB_TABLET_REPLICAS WHERE table_name = 'your_table';

  3. 其他建议：

    • 日志分析：使用 obdiag 收集诊断信息，查看导入过程中的日志，找出具体的错误信息和性能瓶颈。
      obdiag collect --help
    • 性能调优：参考 OceanBase 的性能调优指南，对表结构、索引、查询语句等进行优化。

希望以上信息能帮助您解决问题。如果问题仍然存在，建议联系 OceanBase 的技术支持团队获取进一步的帮助。 [1], [4]

具体信息可参考以下文档:

  1. 插入数据时数据被截断，错误代码 ERROR 1265
  2. 更新数据
  3. UPDATE
  4. 体验并行导入和数据压缩
  5. 事务空闲超时，错误代码 ERROR 6002
  6. OPTIMIZE
#5

导入完成后可以先手动收集一下相关表统计信息

#6

怎么收集

#7

DBMS_STATS 系统包

DBMS_STATS 系统包里最常用的两个存储过程是：GATHER_TABLE_STATS，用于收集某张表的统计信息，语法和参数详见：官网链接。GATHER_SCHEMA_STATS，用于收集某个库中所有表的统计信息，语法和参数详见：官网链接。
例子：
– 收集 TEST 库中表 T_SUBPART1 所有的统计信息，只收集 50% 的数据
call dbms_stats.gather_table_stats(‘TEST’, ‘T_SUBPART1’, estimate_percent=> ‘50’, granularity=>‘ALL’);

#8

您好，我们这边也遇到了类似的问题。往oceanbase数据库重复插入一条记录时有时成功有时失败。

observer.log报错日志如下：
ret=-4249, ret=‘OB_ERR_DATA_TRUNCATED’

注意，是同样的sql语句 ！！！

奇怪的是当我稍微修改了下sql,比如多加一些空格，就能插入成功了！！！

我初步猜测和缓存命中有关？

#9

oceanbase 版本 oceanbase-ce:3.1.4

#10

建议开个新帖

#11

已重新开贴，麻烦看看