使用PySpark结构化流解析Kafka流时全为Null的问题求助

我之前也碰到过类似的问题，结合你给出的环境配置（Spark 2.3.0、Kafka 1.1.0、Broker 0.10），大概率是下面几个常见原因导致的，咱们一步步排查解决：

1. 消息序列化格式不匹配导致解析失败 #

这是最常见的原因：如果你的解析逻辑默认消息是字符串/JSON格式，但Kafka中实际存储的是二进制或者其他序列化格式，直接解析就会返回Null。

解决办法：先把原始的value列强制转换为字符串，验证是否能看到真实内容：

from pyspark.sql.functions import col

# 先转换为字符串查看原始消息
raw_df = df.selectExpr("CAST(value AS STRING) as raw_message")
# 用控制台输出验证（流处理可以用writeStream输出到console）
raw_df.writeStream \
    .outputMode("append") \
    .format("console") \
    .start() \
    .awaitTermination()

如果转换后能看到正常的消息内容，再针对具体格式（比如JSON）用from_json配合正确的Schema解析。

2. 解析逻辑的Schema定义错误 #

如果消息是JSON格式，但你定义的Schema和实际消息的字段名、数据类型不匹配，from_json会直接返回Null。

解决办法：

1. 先通过上面的方法打印出原始字符串消息，明确消息的结构；
2. 编写完全匹配的Schema再解析：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType
from pyspark.sql.functions import from_json

# 根据实际消息结构定义Schema
message_schema = StructType([
    StructField("user_id", StringType(), nullable=True),
    StructField("event_time", StringType(), nullable=True),
    StructField("action", StringType(), nullable=True)
])

# 解析消息
parsed_df = df.withColumn(
    "parsed_data",
    from_json(col("value").cast("string"), message_schema)
).select("parsed_data.*")

3. Kafka消费配置的问题 #

• Topic名称错误或无消息：先通过Kafka命令行工具验证Topic是否存在且有消息：

  # 替换成你的Broker地址和Topic名称
  /path/to/kafka/bin/kafka-console-consumer.sh --bootstrap-server your-broker:9092 --topic your-topic --from-beginning
  

• 起始偏移量配置不当：如果设置startingOffsets="latest"但当前没有新消息产生，会读不到数据。可以改为earliest从头消费：

  df = spark.readStream \
      .format("kafka") \
      .option("kafka.bootstrap.servers", "your-broker:9092") \
      .option("subscribe", "your-topic") \
      .option("startingOffsets", "earliest") \
      .load()
  

4. 依赖兼容性验证 #

你使用的spark-sql-kafka-0-10_2.11:2.3.0依赖是匹配Spark 2.3.0的，且Scala版本2.11和你的Kafka版本（kafka_2.11-1.1.0）一致，Broker版本0.10也在spark-sql-kafka-0-10连接器的支持范围内（支持0.10.0及以上Broker），所以这部分应该没问题，但可以确认提交命令是否完整，有没有遗漏其他依赖。

内容的提问来源于stack exchange，提问作者roy