Docker部署Spark后调用Spark Connect的readStream报错未实现

核心问题原因 #

1. Spark Connect 版本限制：你使用SparkSession.builder.remote("sc://localhost:7077")创建的是Spark Connect会话，而Spark 3.3.3版本的Spark Connect完全未实现readStream接口，这就是抛出NotImplementedError的直接原因。Spark Connect是3.3版本刚引入的特性，早期版本对Structured Streaming的支持缺失。
2. Spark内置Socket数据源不支持WebSocket：Spark自带的socket数据源仅支持TCP套接字，无法直接读取WebSocket协议的流。

解决方案 #

方案1：改用传统Spark集群连接方式 #

放弃Spark Connect，使用标准的Spark集群连接代码，确保PySpark版本和Docker中的Spark 3.3.3版本一致：

def spark_ws():
    spark = SparkSession.builder \
        .master("spark://localhost:7077") \
        .appName("WebSocketStreamDemo") \
        .getOrCreate()
    
    # 注意：这里的socket是TCP协议，不是WebSocket，需后续处理协议适配
    lines = spark.readStream.format("socket")\
        .option("host", "<my_ws_stream>")\
        .option("port", 443)\
        .load()

编写完代码后，通过spark-submit提交到集群运行：

spark-submit --master spark://localhost:7077 your_script.py

方案2：适配WebSocket流读取 #

由于Spark不原生支持WebSocket，需要额外处理：

• 自定义WebSocket数据源：基于Spark的DataSource API开发自定义读取逻辑，处理WebSocket握手和消息接收
• 中转代理：在本地或集群内启动一个WebSocket客户端程序，将WebSocket消息转发到TCP端口，再让Spark读取该TCP端口的流

方案3：升级Spark版本（可选） #

如果想继续使用Spark Connect，可以升级到Spark 3.4及以上版本，后续版本对Spark Connect的Structured Streaming支持有所补充，但仍需自行处理WebSocket协议的适配问题。

Docker配置验证 #

你的Docker Compose配置无问题，Spark Master和Worker的端口映射、集群通信配置均正常，确保集群启动后（通过http://localhost:8080可查看集群状态），即可使用上述方案连接。

内容的提问来源于stack exchange，提问作者RomainM