Snowflake Kafka Connector解析Avro记录失败，无法加载数据至表

核心问题定位 #

日志中出现的意外字符'<'，大概率说明Snowflake Connector读取到的不是预期的Avro二进制数据，而是XML/HTML格式的内容（比如Schema Registry返回的错误响应页面），或者消息本身格式不符合Avro规范。

1. 校验Connector的Schema Registry配置 #

• 确认Connector配置里的key.converter.schema.registry.url、value.converter.schema.registry.url和生产者使用的Schema Registry地址完全匹配（Docker环境下注意用容器内部域名，比如http://schema-registry:8081而非宿主机的localhost:8081）
• 检查value.converter是否设置为io.confluent.connect.avro.AvroConverter，避免误配成StringConverter等其他格式转换器
• 若Schema Registry开启了认证，确保Connector配置了basic.auth.credentials.source和schema.registry.basic.auth.user.info参数

2. 直接校验Kafka主题中的数据格式 #

• 使用Kafka命令行消费者读取原始二进制数据，判断是否为合法Avro：

  docker exec -it <kafka容器名> kafka-console-consumer --bootstrap-server localhost:9092 --topic pageviews --from-beginning --property print.key=true --property value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
  

  输出为乱码是Avro二进制的正常表现；若能看到含'<'的明文（如<html>标签），说明消息本身不是Avro数据，或被中间环节篡改
• 用avro-tools解析二进制数据，验证是否匹配注册的Schema：

  avro-tools tojson --schema-file <本地Schema文件>.avsc <二进制数据文件>
  

3. 排查Stage配置与文件内容 #

• 检查Connector配置的snowflake.stage.name是否正确（Snowflake对象名大小写敏感，除非开启quoted_identifier_policy = TRUE）
• 登录Snowflake查看错误Stage中的文件：

  LIST @<错误Stage名称>;
  GET @<错误Stage名称>/<目标文件名> file:///本地临时路径;
  

  打开下载的文件，确认是否包含'<'字符，判断是数据问题还是Connector写入时的格式错误

4. 分析Connector日志完整上下文 #

• 提取完整的错误堆栈，定位'<'字符出现的具体场景：是Schema Registry请求返回的HTML错误页，还是消息数据本身的问题
• 检查日志中是否存在Schema Registry请求失败记录（如404、500错误），这类错误会导致Connector将错误响应内容当作Avro数据解析

5. 验证Docker网络连通性 #

• 在Connector容器内测试Schema Registry的访问情况：

  docker exec -it <Connector容器名> curl <Schema Registry地址>/subjects/pageviews-value/versions/latest
  

  返回JSON格式的Schema说明网络正常；若返回HTML页面，说明地址配置错误或网络不通

内容的提问来源于stack exchange，提问作者simbo1905