OMS迁移报错问题

OceanBase 技术问题
#1

set global max_allowed_packet=1073741824; – 设置为 1GB

当一个BLOB字段的max_allowed_packet实际使用的值超过1GB时并出现报错，应该如何处理呢？

#3

@论坛小助手

#4

根据文档库中的信息，当 max_allowed_packet 的实际使用值超过设置值（例如 1GB）时，可能会出现类似以下的错误：ERROR 1153 (08S01) : Got a packet bigger than 'max_allowed_packet' bytes。这是因为客户端与服务端之间的数据包大小限制不一致或超出限制所导致。

针对您的问题，以下是详细的分析和解决方案：

1. 确认两端的 max_allowed_packet 配置

  • 根据文档片段 2 和文档片段 8 的说明，max_allowed_packet 参数需要在 客户端 和 服务端 均进行调整。
  • 如果仅在一端设置了较大的值（如 1GB），而另一端未同步调整，则仍会出现报错。
  • 确保两端的配置一致，并且都设置为满足需求的值（如 1GB 或更大）。

服务端设置示例：

SET GLOBAL max_allowed_packet=1073741824; -- 设置为 1GB

客户端设置方法：

  • 如果使用的是 obclient 或其他 MySQL 兼容客户端，可以在连接时通过命令行参数指定：
    obclient -h<host> -P<port> -u<user> -p<password> --max-allowed-packet=1073741824
  • 或者在客户端会话中执行：
    SET SESSION max_allowed_packet=1073741824;

2. 检查单行数据大小是否超出限制

  • 文档片段 4 提到，OMS 社区版在全量迁移时，单行数据不能超过 2MB。如果您的数据中存在超大字段（如 LOB 字段），可能会导致迁移失败。
  • 如果确实存在超大数据行，请考虑以下两种方式：
    1. 拆分数据：将超大字段的数据拆分为多个小字段，或者将部分数据存储到外部文件系统中。
    2. 关闭 enable_rebalance 参数：对于包含 LOB 字段的表，可以关闭目标库的 enable_rebalance 参数以避免迁移过程中出现问题。
      ALTER SYSTEM SET enable_rebalance = false;

3. 调整 OMS 的相关参数

  • 根据文档片段 6 的说明，OMS 社区版支持动态调整写入请求大小限制。您可以尝试增加 OMS 的写入请求大小限制，以适应更大的数据包。
  • 具体调整方法请参考 OMS 的配置文档，确保其 max.request.size 和 message.max.bytes 参数足够大。

4. 跳过特定错误（谨慎操作）

  • 如果您确定某些错误不会影响数据完整性，可以尝试通过配置 skipErrorCode 跳过特定错误（如 RecordTooLargeException）。但请注意，这种方法可能会导致部分数据丢失或不完整。
  • 参考文档片段 3 的说明，在 OMS 社区版 4.0.0-CE 及之后版本中，可以通过以下方式跳过错误：
    "skipErrorCode": [5316, 1153]

5. 最终建议

  • 如果上述方法仍无法解决问题，建议重新评估数据结构，确保单行数据大小不超过合理范围（如 2MB）。
  • 同时，联系 OceanBase 的技术支持团队获取进一步帮助。

希望以上解答能够解决您的问题！如果还有其他疑问，请随时提问。

更多信息请查看:

  1. 0001 ~ 3999
  2. max_allowed_packet
  3. OMS 社区版错误码
  4. 旁路导入介绍
  5. DatahubSink
  6. 数据库库表重命名
  7. 批量操作数据迁移任务
#6

@论坛小助手 ERROR 1153 (08S01) : Got a packet bigger than 'max_allowed_packet' bytes 。 关于这个报错，使用obloader导入时，会出现吗？

#7

根据文档库中的信息，ERROR 1153 (08S01) : Got a packet bigger than 'max_allowed_packet' bytes 是由于客户端与服务端之间传输的数据包大小超过了 max_allowed_packet 参数的限制。

关于 OBLoader 是否会出现此报错

  1. OBLoader 的工作原理
    OBLoader 是 OceanBase 提供的一个数据导入工具，主要用于将文本文件中的数据批量导入到 OceanBase 数据库中。OBLoader 在导入过程中会将数据分批次提交给数据库，因此单个数据包的大小取决于每批次的数据量。

  2. 是否会出现该报错
    如果导入的数据中存在非常大的字段（例如 BLOB 或 TEXT 类型），并且这些字段的大小超过了 max_allowed_packet 的限制，那么在使用 OBLoader 导入时确实可能会触发 ERROR 1153 报错。

解决方案

根据文档片段 1 和文档片段 2 的信息，以下是解决该问题的方法：

方法 1：调整 max_allowed_packet 参数

  • 服务端设置
    登录到 OceanBase 数据库，执行以下命令以增大 max_allowed_packet 的值：
    SET GLOBAL max_allowed_packet = 1073741824; -- 设置为 1GB
  • 客户端设置
    如果使用的是 obclient 或其他 MySQL 兼容客户端，确保客户端的 max_allowed_packet 参数也同步调整。可以通过连接参数或会话内设置完成：
    obclient -h<host> -P<port> -u<user> -p<password> --max-allowed-packet=1073741824
    或者在会话中执行：
    SET SESSION max_allowed_packet = 1073741824;

方法 2：优化数据文件

如果数据文件中存在超大字段，可以考虑以下优化措施：

  • 拆分超大数据
    将超大字段的数据拆分为多个小字段，或者将部分数据存储到外部文件系统中。
  • 减少批次大小
    调整 OBLoader 的 -b 参数（控制每次提交的行数），减少每次提交的数据量，从而降低单个数据包的大小。例如：
    obloader -b 1000 ... --其他参数

方法 3：检查 OBLoader 配置

确保 OBLoader 的配置文件中没有限制过小的缓冲区大小。例如，buffer_size 参数应足够大以适应单条记录的大小。

总结

根据文档库中的信息，ERROR 1153 报错在使用 OBLoader 导入时是可能出现的，尤其是在导入包含超大字段的数据时。通过调整 max_allowed_packet 参数、优化数据文件以及合理配置 OBLoader，可以有效避免该问题的发生。如果问题仍然存在，请联系 OceanBase 的技术支持团队获取进一步帮助。

具体信息可参考以下文档:

  1. 0001 ~ 3999
  2. 4000 ~ 4499
  3. 4500 ~ 4999
  4. 数据备份失败
  5. 8000 ~ 8999
  6. 9000 ~ 9499
  7. 7000 ~ 7999
1 个赞