Pyspark3.0.1 Jupyter Socket流StreamingQueryException报错排查
PySpark Socket流词频统计运行故障记录
基础运行环境
- 操作系统:Lubuntu 20.04 LTS
- 组件版本:Python 3.9、PySpark 3.0.1
- 交互载体:Chrome浏览器访问Jupyter Notebook
初始测试逻辑
- 依赖导入:引入SparkSession、explode、split相关模块
- 会话创建:构建应用名为
StreamingDemo的SparkSession实例 - 数据源配置:以socket格式读取host参数为"local"、端口9999的流数据
- 处理流程:对接收的文本完成单词拆分、分组聚合,实现词频统计
- 输出配置:打印结果Schema,设置complete输出模式、console输出格式后启动流查询
初始运行报错
- 控制台首先抛出
java.net.UnknownHostException: local错误,直接中断MicroBatchExecution执行流程 - 执行
query.awaitTermination()语句时,进一步抛出StreamingQueryException,提示无法识别host为"local"的主机地址
预期正常流程
在独立终端窗口执行
nc -lk 9999启动Netcat监听服务,输入测试文本后,即可在Jupyter控制台看到实时词频统计输出
已尝试的调整方案及遗留报错
- 第一次调整:将socket数据源的host参数从"local"修改为标准值"localhost"
- 第二次调整:将查询配置改为append输出模式,设置checkpointLocation为
/tmp/dtn2/checkpoint- 调整后抛出
AnalysisException:无watermark的流聚合场景不支持append输出模式 - 改回complete输出模式后,执行
query.awaitTermination()时抛出StreamingQueryException: Connection refused,调整checkpoint位置的操作并未解决核心连接问题
- 调整后抛出
内容的提问来源于stack exchange,提问作者Andreas L.
相关产品推荐
相关产品推荐

