Kafka Connect配置问题：JSON转HDFS Avro/Parquet文件失败

• 已通过Docker部署Kafka、HDFS、Kafka Connect及Schema Registry
• Kafka主题存储无Schema的原始JSON数据，Schema Registry中已存在对应数据的JSON Schema
• 目标：配置Sink Connector将主题JSON数据转存为HDFS中的Avro/Parquet文件
• 当前问题：
  • 使用StringConverter时能生成文件，但文件无可用结构化信息
  • 使用JsonSchemaConverter时触发报错：

    Converting byte[] to Kafka Connect data failed due to serialization error of topic
    Unknown magic byte

一、问题根源解析 #

• StringConverter仅将数据视为纯字符串处理，不会解析JSON结构，因此生成的文件无结构化信息
• JsonSchemaConverter默认要求数据是经Schema Registry序列化、带Schema标识字节头的数据流，但你的主题中是原始JSON（无该标识头），因此触发"Unknown magic byte"错误

二、正确配置Sink Connector #

需用JsonConverter解析原始JSON，结合Schema Registry中已有的Schema完成结构化转换，最终输出Avro/Parquet格式：

1. 核心配置示例（HDFS Sink） #

# 键转换器（若键为字符串，使用StringConverter即可）
key.converter=org.apache.kafka.connect.storage.StringConverter
# 值转换器：用JsonConverter解析原始JSON
value.converter=org.apache.kafka.connect.json.JsonConverter
# 指定Schema Registry地址，开启Schema支持
value.converter.schema.registry.url=http://your-schema-registry:8081
# 强制使用Registry中已有的指定Schema，而非自动推断
value.converter.use.latest.version=true
value.converter.schema.name=your-target-schema-name
# 输出格式配置（Avro为例）
format.class=io.confluent.connect.hdfs.avro.AvroFormat
# HDFS基础配置
hdfs.url=hdfs://your-hdfs-nn:9000
topics=your-kafka-topic-name
tasks.max=1

2. 切换为Parquet格式 #

仅需修改format.class配置项：

format.class=io.confluent.connect.hdfs.parquet.ParquetFormat

三、关键注意事项 #

• 确保Schema Registry中的JSON Schema与Kafka主题内的JSON字段完全匹配，否则会触发字段不匹配报错
• 若原始JSON无内嵌Schema信息，必须显式通过value.converter.schema.name指定Registry中已存在的Schema
• 验证Docker容器网络连通性：Kafka Connect需能正常访问Schema Registry和HDFS NameNode

内容的提问来源于stack exchange，提问作者antontj