Azure Synapse Notebook中PySpark会话超时报错求助

问题本质 #

你遇到的InvalidHttpRequestToLivy: Session isn't active错误，核心是Livy会话因超时被系统回收。在最低成本的Spark配置下（无服务器池或小型专用池），系统会对会话的最大运行时长、闲置时间设有限制，35分钟的运行时间刚好触发了这个阈值。

针对性解决方案（适配低成本约束） #

1. 调整会话超时配置 #

• 如果使用专用Spark池：在池的配置页面，找到「会话超时」选项，将默认时长（通常30分钟）调整至覆盖你的任务所需时间（比如45分钟）。
• 通用配置（Notebook开头添加）：通过Spark配置直接延长会话超时，无需修改池级设置：

  spark.conf.set("spark.livy.session.timeout", "45m")
  spark.conf.set("spark.executor.instances", "2")  # 低成本下保持实例数最小，仅调整超时
  

2. 优化CSV读取代码，压缩运行时间 #

• 批量读取而非循环单读：用通配符一次性读取所有目标CSV，避免循环读取带来的额外开销：

  df = spark.read.csv("abfss://<container>@<storage-account>.dfs.core.windows.net/<path>/*.csv", header=True)
  

• 提前指定Schema：禁用Spark自动Schema推断（该操作会额外扫描数据），手动定义Schema大幅缩短读取时间：

  from pyspark.sql.types import StructType, StructField, StringType, DoubleType
  
  custom_schema = StructType([
      StructField("id", StringType(), nullable=True),
      StructField("value", DoubleType(), nullable=True)
      # 按需添加其他字段
  ])
  df = spark.read.csv("abfss://<container>@<storage-account>.dfs.core.windows.net/<path>/*.csv", schema=custom_schema, header=True)
  

• 优化分区数：针对小数据集，调小shuffle分区数减少资源消耗与运行时间：

  spark.conf.set("spark.sql.shuffle.partitions", "8")
  

3. 避免会话闲置 #

确保代码全程连续执行，不要插入手动暂停、等待输入等环节——系统会将无运行操作的会话判定为闲置，提前回收。

4. 拆分大任务 #

如果单次读取处理确实无法压缩到超时阈值内，将任务拆分为多个小步骤：比如先读取1/3文件处理并写入临时存储，再读取剩余文件合并结果，每个步骤控制在30分钟以内。

内容的提问来源于stack exchange，提问作者Dan Wang