ob用flinkcdc把数据转移到mysql时没数据

OceanBase 技术问题
,
#1

【 使用环境 】 测试环境
【 OB or 其他组件 】OB
【 使用版本 】
obclient [(none)]> SELECT version();
±-----------------------------+
| version() |
±-----------------------------+
| 5.7.25-OceanBase_CE-v4.1.0.0 |
±-----------------------------+
1 row in set (0.005 sec)

com.ververica.fix
flink-sql-connector-oceanbase-cdc
2.2-SNAPSHOT

logproxy 4.x
【问题描述】logproxy出现问题
E20230908 12:17:04.076638 29066 mysql_protocol.cpp:239] Failed to query observer:Table ‘oceanbase.__all_virtual_server_clog_stat’ doesn’t exist, unexpected column count: 0
E20230908 12:17:04.077042 29066 clog_meta_routine.cpp:45] Failed to check the existence of svr_min_log_timestamp column in __all_virtual_server_clog_stat, disable clog check
【复现路径】问题出现前后相
【问题现象及影响】

【附件】

#3

logproxy 4.x版本的？

#4

请用最新的 flink cdc 和 oblogproxy。

https://ververica.github.io/flink-cdc-connectors/release-2.4/content/connectors/oceanbase-cdc(ZH).html

#6

image

#7

最新版出现

image
image1782×192 46.6 KB

#8

用的是 flink-sql 打头的包吗，另外需要注意就版本的依赖包要从 classpath 移除。

#9
com.ververica flink-sql-connector-oceanbase-cdc 2.4.0 版本依赖使用maven管理的
#10

这个包会与mysql的驱动包起冲突呢？

#11

与 mysql 驱动不会有冲突，不过怎么会用到 maven，你是用的 stream api 吗？

如果是 stream api，应该用不带 sql 那个，然后再把这里面的依赖以及 Flink 相关的依赖都加上 https://github.com/ververica/flink-cdc-connectors/blob/master/flink-connector-oceanbase-cdc/pom.xml

#12

我使用的flinksql去做的

#13 
 <dependency>
        <groupId>com.ververica</groupId>
        <artifactId>flink-sql-connector-mysql-cdc</artifactId>
        <version>${flink.cdc.version}</version>
    </dependency>
    <dependency>
        <groupId>com.ververica</groupId>
        <artifactId>flink-sql-connector-oceanbase-cdc</artifactId>
        <version>2.4.0</version>
    </dependency>

这两个jar包有冲突，我删掉flink-sql-connector-mysql-cdc就不会报上面的错误

#16

flink-sql-connector-oceanbase-cdc这个jar包好像也会与mysql 8.0的驱动包起冲突

#17

用了最新版的flinkcdc也都不到数据

#18

上面的报错是 debezium 的包冲突，从您提供的信息来看，是这两个包的 debezium 版本不一样造成的问题，建议把它们升级到同一个版本，用最新的。

flink-sql-connector-oceanbase-cdc 这个包里默认用的是 mysql 的 5.1.4x 的驱动，因为 driver class 跟 8.0 并不一样，理论上不会与 8.0 驱动冲突。