PySpark Streaming导入KafkaUtils模块报错及版本兼容问题求解

• PySpark 3.x版本报错：Spark 3.0及以上版本正式移除了原生Kafka 0.8版本集成模块pyspark.streaming.kafka，也不再支持旧版DirectStream API，因此直接触发模块不存在的报错。
• PySpark 2.4.x版本报错：Spark 2.4.x内置的cloudpickle依赖仅适配Python 3.6及更低版本，Python 3.7+修改了types.CodeType的参数结构，导致序列化模块初始化失败，触发TypeError: an integer is required (got type bytes)报错。
• 额外代码问题：原代码中bootstrap.servers配置多了空格（127.0.0.1 :9092），且打印时变量名大小写错误（kafkastream应为kafkaStream），即使版本适配也会运行失败。

可选择以下两种路径之一解决问题：

路径1：适配PySpark 3.x（推荐，支持长期维护） #

旧版DStream API已经被Spark官方标记为废弃，建议改用Structured Streaming集成Kafka，修改后的参考代码如下：

import findspark
findspark.init('/opt/spark')
import os
# 替换为对应Spark版本的Kafka集成包，3.1.2版本对应如下配置
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2 pyspark-shell'

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, from_json
from pyspark.sql.types import StringType, StructType

# 初始化SparkSession
spark = SparkSession.builder \
    .appName("KafkaStreamProcessor") \
    .master("local[*]") \
    .config("spark.streaming.stopGracefullyOnShutdown", "true") \
    .getOrCreate()
spark.sparkContext.setLogLevel("WARN")

topic = "video-stream-event"
# 读取Kafka流
kafkaStream = spark.readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "127.0.0.1:9092") \
    .option("subscribe", topic) \
    .option("startingOffsets", "latest") \
    .option("fetch.max.bytes", "15728640") \
    .load()

# 提取Kafka消息的value部分（二进制转字符串）
value_df = kafkaStream.select(col("value").cast(StringType()).alias("value"))
# 可根据实际数据格式自定义Schema解析json内容
print(value_df)

# 如果需要输出调试可以加如下输出配置
# query = value_df.writeStream \
#     .outputMode("append") \
#     .format("console") \
#     .start()
# query.awaitTermination()

该方案适配Python 3.7/3.8 + PySpark 3.1.2的环境，不需要降级Python或Spark版本。

路径2：保留原有代码，使用兼容版本组合 #

如果不需要更新API，要保留现有代码逻辑，可调整环境版本匹配：

• Python版本降级为3.6.x
• 保持Spark 2.4.5/2.4.6版本，确认对应Scala版本为2.11
• 修复原代码的两个错误：将bootstrap.servers改为127.0.0.1:9092，print(kafkastream)改为print(kafkaStream)
  调整后即可正常运行原有代码。

内容的提问来源于stack exchange，提问作者kvgr deepika