You need to enable JavaScript to run this app. Pyspark3.0.1 Jupyter Socket流StreamingQueryException报错排查
优惠活动
大模型
产品
解决方案
定价
更多

Pyspark3.0.1 Jupyter Socket流StreamingQueryException报错排查

PySpark Socket流词频统计运行故障记录

基础运行环境

  • 操作系统:Lubuntu 20.04 LTS
  • 组件版本:Python 3.9、PySpark 3.0.1
  • 交互载体:Chrome浏览器访问Jupyter Notebook

初始测试逻辑

  • 依赖导入:引入SparkSession、explode、split相关模块
  • 会话创建:构建应用名为StreamingDemo的SparkSession实例
  • 数据源配置:以socket格式读取host参数为"local"、端口9999的流数据
  • 处理流程:对接收的文本完成单词拆分、分组聚合,实现词频统计
  • 输出配置:打印结果Schema,设置complete输出模式、console输出格式后启动流查询

初始运行报错

  • 控制台首先抛出java.net.UnknownHostException: local错误,直接中断MicroBatchExecution执行流程
  • 执行query.awaitTermination()语句时,进一步抛出StreamingQueryException,提示无法识别host为"local"的主机地址

预期正常流程

在独立终端窗口执行nc -lk 9999启动Netcat监听服务,输入测试文本后,即可在Jupyter控制台看到实时词频统计输出

已尝试的调整方案及遗留报错

  • 第一次调整:将socket数据源的host参数从"local"修改为标准值"localhost"
  • 第二次调整:将查询配置改为append输出模式,设置checkpointLocation为/tmp/dtn2/checkpoint
    • 调整后抛出AnalysisException:无watermark的流聚合场景不支持append输出模式
    • 改回complete输出模式后,执行query.awaitTermination()时抛出StreamingQueryException: Connection refused,调整checkpoint位置的操作并未解决核心连接问题

内容的提问来源于stack exchange,提问作者Andreas L.

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 20:27:04