【 使用环境 】生产环境 or 测试环境
【 OB or 其他组件 】oceanbase,flink-cdc,Doris
【 使用版本 】社区版OB 4.2
【问题描述】有一个数据治理需求,oceanbase->Doris,。需要通过flinkCDC连接,社区版OB支持吗
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接(右键跳转查看):
【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)
【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试,在发帖时输入 [@论坛小助手] 即可召唤小助手,欢迎试用!
论坛小助手
#3
您的问题描述了一个具体的技术场景,即希望在社区版 OceanBase 4.2 环境中,使用 Flink CDC 实现数据从 OceanBase 到 Doris 的实时迁移。根据您提供的信息,我们可以探讨这一需求的可行性。
-
Flink CDC 与 OceanBase 的兼容性:Flink CDC 是一个用于从多种数据库中读取变更数据的工具。根据文档 [1],Flink CDC 支持从大多数数据库中实时读取存量历史数据和增量变更数据,并且能够将这些数据同步到消息队列和数据仓库中。然而,文档中并没有明确指出 Flink CDC 是否支持直接从 OceanBase 同步数据到 Doris。
-
OceanBase 社区版 4.2 的特性:OceanBase 社区版 4.2 应具备与 MySQL 兼容的能力,这意味着它应该能够作为 Flink CDC 的数据源之一。但是,关于社区版 OceanBase 4.2 与 Flink CDC 的具体兼容性细节,文档中没有直接提及。
-
Doris 作为目标数据仓库:Doris 是一个 MPP 架构的实时分析型数据库,适合用于构建实时报表系统和数据分析应用。理论上来说,只要 Flink CDC 能够生成符合 Doris 接收格式的数据流,那么就可以实现从 OceanBase 到 Doris 的数据迁移。
综上所述,虽然直接证据表明社区版 OceanBase 4.2 支持通过 Flink CDC 连接到 Doris 的信息不足,但从技术原理上看,这种配置是有可能实现的。具体实施时,您需要确保 Flink CDC 能够正确识别 OceanBase 的变更事件,并且生成的数据格式能够被 Doris 正确解析和导入。
建议您参考 Flink CDC 的官方文档或示例,了解如何配置 Flink CDC 以支持 OceanBase 作为数据源,并确认其输出是否满足 Doris 的要求。如果在配置过程中遇到具体问题,可能需要进一步的技术支持或查阅更详细的文档资料。 [1]
详情请参考:
- 使用 Flink CDC 从 OceanBase 数据库迁移数据到 MySQL 数据库
- 使用 Flink CDC 从 MySQL 数据库同步数据到 OceanBase 数据库
- 数据迁移概述
- 使用 OMS 从 TiDB 数据库迁移数据到 OceanBase 数据库 MySQL 租户
- 企业版和社区版的功能差异
- 使用 OMS 从 PostgreSQL 数据库迁移数据到 OceanBase 数据库 MySQL 租户
- 使用 OMS 从 DB2 LUW 数据库迁移数据到 OceanBase 数据库 MySQL 租户
- 使用 OMS 从 OceanBase 数据库迁移数据到 OceanBase 数据库同类型租户
- 快速入门系列教程
川粉
#4
目前是支持的,推荐的做法是部署 Binlog Service 之后使用 Flink MySQL CDC 作为源端,使用 Flink CDC Pipeline 作业或者 Flink SQL 作业来进行数据同步。
Binlog Service 部署可以参考 https://www.oceanbase.com/docs/oblogproxy-doc
Flink CDC Pipeline 可以参考 https://nightlies.apache.org/flink/flink-cdc-docs-release-3.2/zh/docs/connectors/pipeline-connectors/mysql/