使用oms做数据迁移，迁移后发现数据表中utf8mb4_zh_0900_as_cs排序的数据乱码

OceanBase 技术问题
#1

使用oms做数据迁移，迁移后发现数据表中utf8mb4_zh_0900_as_cs排序的数据乱码，命令行连接串加了useUnicode=true&characterEncoding=UTF-8&characterSetResults=utf8mb4也不起作用

4 个赞
#3

怎么会

#4

确实

#5

源端目标端都没说清楚

#6

迁移源端和目标端分别什么库，字符集是什么，数据库和oms版本分别多少，多提供背景信息，有利于其他人帮你分析问题。

#7

@论坛小助手 快来回答这个问题

#8

问题分析

您在使用 OMS 进行数据迁移时，发现迁移后的数据表中 utf8mb4_zh_0900_as_cs 排序的数据出现了乱码。即使在命令行连接串中添加了 useUnicode=true&characterEncoding=UTF-8&characterSetResults=utf8mb4 参数，问题依然存在。

可能的原因及解决方法

  1. 字符集配置不一致：

    • 源数据库和目标数据库的字符集设置可能不一致。请确保源数据库和目标数据库都使用相同的字符集（例如 utf8mb4）。
    • 在 OMS 配置中，检查并确认连接编码设置为 utf8 或 utf8mb4。根据文档片段 1，连接编码默认值为 utf8，但您可以根据需要选择合适的编码。

  2. 数据迁移过程中的乱码问题：

    • 根据文档片段 2，数据迁移过程中乱码数据无法写入 OceanBase 数据库 V3.1.2。请确认您的 OMS 版本是否支持该字符集，并且在迁移过程中没有出现乱码数据。

  3. OMS 版本兼容性：

    • 请确保您使用的 OMS 版本支持 utf8mb4 字符集。根据文档片段 1，连接编码的支持版本是 OMS 社区版 V3.3.1-CE 及之后版本。如果您的 OMS 版本较旧，建议升级到最新版本。

  4. 数据同步配置：

    • 如果您在同步过程中使用了特定的序列化方式，请确保这些序列化方式支持 utf8mb4 字符集。根据文档片段 3，OMS 支持多种序列化方式，包括 Default、Canal、Dataworks 等。请检查您使用的序列化方式是否正确配置。

  5. 排查步骤：

    • 根据文档片段 4，当 OMS 社区版发生报错时，可以参考整体排查思路图进行问题定位。请参见以下链接中的图片：
      FAQ-1
      FAQ-11418×1227 152 KB

建议操作

  1. 检查源数据库和目标数据库的字符集配置：

    • 确保源数据库和目标数据库都使用 utf8mb4 字符集。
    • 在 OMS 配置中，确保连接编码设置为 utf8mb4。

  2. 升级 OMS 版本：

    • 如果您的 OMS 版本较旧，建议升级到最新版本，以确保支持 utf8mb4 字符集。

  3. 验证数据同步配置：

    • 检查数据同步配置中的序列化方式，确保其支持 utf8mb4 字符集。

  4. 参考排查步骤：

    • 根据文档片段 4 提供的整体排查思路图进行问题定位。

结论

通过上述步骤，您应该能够找到并解决数据迁移后出现乱码的问题。如果问题仍然存在，建议联系 OceanBase 的人工答疑以获取更多帮助。

希望这些建议对您有所帮助！

更多信息请查看:

  1. DataFlowSource
  2. 如何处理乱码无法写入 OceanBase 数据库 V3.1.2 的问题
  3. 通过 OMS 进行数据迁移和同步
  4. OMS 社区版问题排查手册
  5. 数据库库表重命名
  6. OceanBase 社区版之间的数据迁移
  7. 配置迁移对象的匹配规则
  8. 迁移 PostgreSQL 数据库的数据至 OceanBase 社区版
  9. 通配符规则说明
  10. JDBC-Sink
1 个赞