Azure Synapse运行时pd.ExcelFile无法读取Blob存储中更新的Excel文件

报错原因 #

出现InvalidRange错误的核心原因是缓存机制导致的元数据不一致：

• 首次读取Blob中的Excel文件时，Spark内核和底层Azure存储SDK会缓存该文件的元数据（比如文件大小、存储位置信息）。
• 当Power Automate覆盖更新Blob文件后，新文件大小大概率与旧文件不同，但运行中的Notebook内核仍保留旧的文件元数据。
• pd.ExcelFile读取Excel时会通过HTTP Range头分块请求Blob内容，当请求的范围超出新文件的实际大小，就会触发Azure Blob的InvalidRange错误。
• 重启内核会清空所有缓存，因此能正常读取新文件。

无需重启内核的可行方案 #

以下是几种直接解决问题的方案，按推荐优先级排序：

1. 强制刷新Spark文件系统缓存 #

在每次读取文件前，调用Spark API清空对应路径的缓存，让系统重新获取最新文件元数据：

from pyspark import SparkContext

# 获取当前Spark上下文
sc = SparkContext.getOrCreate()
# 获取Hadoop文件系统实例
fs = sc._jvm.org.apache.hadoop.fs.FileSystem.get(sc._jsc.hadoopConfiguration())
# 转换为Hadoop可识别的路径格式
path = sc._jvm.org.apache.hadoop.fs.Path(file_path)
# 无效化该路径的缓存
fs.invalidateCache(path)

# 执行读取操作
xlsx = pd.ExcelFile(file_path)
wb = pd.read_excel(xlsx, sheet_name='discount')

该方案直接从根源清除缓存，无需修改现有文件更新流程。

2. 先下载Blob到本地临时目录再读取 #

绕过Spark文件系统缓存，直接用Azure存储SDK将最新Blob下载到Notebook本地临时目录，再读取本地文件：

from azure.storage.blob import BlobClient
import pandas as pd
import tempfile

# 替换为你的存储连接信息
conn_str = "your_storage_account_connection_string"
container_name = "your_container_name"
blob_name = "your_excel_file.xlsx"

# 初始化Blob客户端
blob_client = BlobClient.from_connection_string(conn_str, container_name, blob_name)

# 创建临时文件并下载Blob内容
with tempfile.NamedTemporaryFile(suffix=".xlsx", delete=False) as tmp_file:
    blob_client.download_to_path(tmp_file.name)
    # 读取临时文件
    wb = pd.read_excel(tmp_file.name, sheet_name='discount')

这种方式完全绕开缓存问题，每次读取最新文件内容，适合文件体积不大的场景。

3. 修改Power Automate更新逻辑，生成新文件 #

避免覆盖原文件，每次更新时生成带时间戳的新文件（如discount_202403042230.xlsx），再在Notebook中读取最新文件：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
# 列出目标路径下的所有Excel文件
files = spark.sparkContext.wholeTextFiles("abfss://your_container@your_account.dfs.core.windows.net/path/to/files/*.xlsx")
# 按文件名排序，取最新的一个
latest_file = sorted(files.map(lambda x: x[0]).collect(), reverse=True)[0]

# 读取最新文件
xlsx = pd.ExcelFile(latest_file)
wb = pd.read_excel(xlsx, sheet_name='discount')

该方案避免了文件覆盖带来的缓存冲突，同时方便追溯历史数据。

4. 使用Spark原生Excel读取器替代pandas #

改用Spark官方兼容的Excel读取库（com.crealytics:spark-excel），它对分布式文件系统兼容性更好，默认不缓存文件元数据：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.jars.packages", "com.crealytics:spark-excel_2.12:0.14.0") \
    .getOrCreate()

# 读取Excel文件
df = spark.read \
    .format("com.crealytics.spark.excel") \
    .option("header", "true") \
    .option("sheetName", "discount") \
    .load(file_path)

# 转换为pandas DataFrame（如果需要）
wb = df.toPandas()

注意：需根据Spark版本选择对应库版本（上述版本适配Spark 3.3）。

内容的提问来源于stack exchange，提问作者miro_muras