如何把kafka的数据写入到OB

[小萝卜]

【 使用环境 】生产环境
【 OB or 其他组件 】
【 使用版本 】
【问题描述】如何把kafka的数据写入到OB？
StarRocks 提供 Apache Kafka® 连接器 (StarRocks Connector for Apache Kafka®，简称 Kafka connector)，作为 sink connector，持续消费 Kafka 的消息并导入至 StarRocks 中。
OB是否提供类似方案。通过 kakfa => FLINK => ob感觉链路太长了。

[zwm8168]

使用Kafka Connect，可以使用Kafka Connect的JDBC Sink Connector将数据从Kafka写入到数据库，配置Kafka Connect JDBC Sink。

1. 添加依赖‌：确保你的环境中已安装Kafka Connect，并添加JDBC Sink Connector的依赖。

# 添加JDBC Sink Connector
bin/connect-standalone etc/kafka/connect-standalone.properties etc/kafka/connect-jdbc-sink.properties

‌2. 配置文件‌：创建或修改connect-jdbc-sink.properties文件，配置数据库连接和SQL语句。
name=jdbc-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/your_database?user=username&password=password
topics=your_kafka_topic
auto.create=true
insert.mode=upsert
pk.mode=record_key
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=false

‌3. 启动Kafka Connect‌：启动Kafka Connect服务。
bin/connect-standalone etc/kafka/connect-standalone.properties etc/ka

[sherq1989]

看官方教材

[耶一耶]

学习了

[obtp]

楼上正解，感谢分享

[AntTech_YC3PB6]

学习

[Tiki]

学习

[AntTech_JEGOO6]

学习