OMS社区版能否用于MYSQL >Oceabase社区版的长期实时同步数据

OceanBase 技术问题
#1

【 使用环境 】生产环境
【 OB or 其他组件 】OB OMS
【 使用版本 】OBV4.3.4 OMSV4.2.7
【问题描述】想问下OMS社区版能否用于MYSQL>Oceanbase社区版的长期实时同步数据
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接（右键跳转查看）：

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

2 个赞
#3

根据文档库中的信息，OMS 社区版支持从 MySQL 数据库到 OceanBase 社区版的长期实时同步数据。以下是详细说明：

  1. 支持的数据迁移和同步功能
    根据文档片段（参考 数据迁移/数据迁移概述），OMS 社区版支持以下功能：

    • 从 MySQL 数据库迁移到 OceanBase 社区版。
    • 支持结构迁移、全量迁移和增量同步。
    • 支持单主库、单备库和主备库模式下的 MySQL 数据源。

  2. 长期实时同步能力
    OMS 社区版支持从 MySQL 数据库到 OceanBase 社区版的增量同步功能，这意味着它可以实现长期的实时数据同步。具体支持的操作包括：

    • 单主库模式：支持结构迁移 + 全量迁移 + 增量同步 + 全量校验 + 反向增量。
    • 主备库模式：如果使用主库连接，支持增量同步和反向增量；如果使用备库连接，支持结构迁移、全量迁移和全量校验。

  3. 性能与可靠性

    • OMS 社区版能够实现在业务应用无感知的情况下运行数据迁移和同步任务，并保证数据的完整性和事务的一致性。
    • 数据同步性能可以达到 50000 RPS，延迟为秒级，适合长期实时同步场景。

  4. 注意事项

    • 在生产环境中使用时，建议配置高可用的部署架构方案，以确保数据同步链路的稳定可靠。
    • 如果需要进行反向增量同步（即 OceanBase 社区版的数据变更同步回 MySQL），请确保主库连接配置正确。

因此，OMS 社区版可以用于从 MySQL 到 OceanBase 社区版的长期实时同步数据。如果您需要更详细的配置指导，可以参考官方文档中的相关章节，例如 数据迁移/数据迁移概述 和 数据同步/创建数据同步项目。

更多信息请查看:

  1. 管理控制台介绍
  2. 通过 OMS 进行数据迁移和同步
  3. 数据同步概述
  4. OMS 社区版概述
  5. 迁移 MySQL 数据库的数据至 OceanBase 社区版
  6. 数据迁移概述
  7. 容灾双活场景的数据迁移
2 个赞
#4

现有mysql多个数据库全量迁移到ob社区版，然后长期增量同步，如何去评估Oms社区版所需机器配置

1 个赞
#5

根据文档库中的信息，评估 OMS 社区版所需机器配置时需要综合考虑全量迁移、增量同步以及长期运行的资源需求。以下是详细的评估方法和建议：

1. 明确任务规模

在评估 OMS 社区版所需机器配置之前，需要明确以下信息：

  • 数据量大小：MySQL 数据库中需要迁移的数据总量（包括表结构、数据行数等）。
  • 增量日志生产速度：MySQL 数据库每秒产生的 Binlog 日志量（单位：MB/s 或 GB/day）。
  • 并发任务数量：同时运行的迁移任务数量（例如多个数据库或多个表的迁移）。

这些信息将直接影响 OMS 社区版的 CPU、内存和磁盘需求。

2. 参考官方推荐的资源配置

根据文档片段 1 的内容，OMS 社区版的标准资源规格建议如下：

资源类型/组件 Store（存储服务） Incr-Sync（增量同步） Full-Import（全量导入） 总计
CPU 4C 2C 2C 8C
Memory 8G 8G 4G 20G
Disk 取决于增量日志保存时间与生产速度 5G 5G >10G

具体说明：

  • Store（存储服务）：负责存储 MySQL 的 Binlog 数据，其磁盘需求取决于 MySQL 增量日志的生产速度和 OMS 中增量数据的保存时间。
  • Incr-Sync（增量同步）：负责实时同步增量数据到 OceanBase 社区版，通常需要较高的 CPU 和内存资源。
  • Full-Import（全量导入）：负责一次性迁移全量数据，对磁盘和内存的需求较高。

3. 计算具体需求

根据实际任务规模调整资源配置：

（1）磁盘需求

  • 增量日志存储：假设 MySQL 每天产生 10GB 的 Binlog 日志，OMS 社区版默认保留 3 天的增量日志，则需要至少 30GB 的磁盘空间。
  • 全量迁移临时存储：每个迁移任务需要约 5GB 的磁盘空间用于临时文件存储，如果有多个任务并行运行，则需要按任务数量累加。

（2）内存需求

  • 根据任务规模调整内存分配。如果任务较多或数据量较大，建议将内存提升至 32GB 或更高。

（3）CPU 需求

  • 如果有多个迁移任务并行运行，建议按照任务数量线性增加 CPU 核心数。例如，如果有 4 个任务并行运行，则需要至少 32C（8C × 4）。

4. 长期运行的额外考虑

对于长期增量同步任务，还需要注意以下几点：

  • Binlog 日志保存时间：确保磁盘有足够的空间来保存增量日志。如果 Binlog 生产速度较快，可能需要更大的磁盘容量。
  • 任务监控和日志存储：OMS 社区版会生成大量任务日志，建议预留额外的磁盘空间用于存储日志文件。
  • 高可用部署：为了保证长期运行的稳定性，建议采用主备架构部署 OMS 社区版。

5. 总结配置建议

基于上述分析，以下是一个典型的资源配置建议（以单任务为例）：

资源类型 推荐配置（单任务） 推荐配置（多任务，4 并发）
CPU 8C 32C
Memory 20G 64G
Disk >10G（视 Binlog 生产速度而定） >40G（视 Binlog 生产速度而定）

如果任务规模较大或并发任务较多，请根据实际情况进一步调整资源配置。

6. 参考资料

如果您有更具体的任务规模或场景需求，可以进一步细化评估。

具体信息可参考以下文档:

  1. 内存和磁盘要求
  2. 为 MySQL 数据库开启 Binlog
  3. 迁移 MySQL 数据库的数据至 OceanBase 社区版
  4. 容灾双活场景的数据迁移
  5. 迁移 PostgreSQL 数据库的数据至 OceanBase 社区版
  6. DataFlowSource
  7. 通过 OMS 进行数据迁移和同步
  8. 迁移 HBase 数据库的数据至 OBKV

(小助手的答复已结束，如未能解决您的问题，请继续提问并等待其他同学的回复，谢谢！)

3 个赞
#6

总迁移量3T左右，每天增量日志15G左右，大约由60个mysql库增量同步到ob社区版，能否根据描述信息，给出OMS社区版配置

2 个赞
#7

按照这个文档,学习调试一下

#8

增量日志15G左右并不多，可以先部署一台OMS测一下

#9

数据量不够塞牙缝。主要还是60个MySQL库你是怎么个分配链路法，才大概率知道你至少需要多少资源能够稳定的跑这些增量。

#10

加强学习，总结经验 :+1: :+1: :+1: