Databricks PySpark免遍历获取Azure存储匹配文件名模式的文件路径

dbutils.fs.ls 确实不支持通配符匹配，无需手动遍历全量文件做筛选，以下两种是生产环境常用的低开销实现，匹配逻辑会下推到存储侧执行，性能远高于手动遍历：

方案1：基于Spark DataFrameReader 实现（代码最简洁） #

Spark对接Azure Blob File System (ABFS)的驱动原生支持通配符路径下推，使用binaryFile格式读取时仅拉取文件元数据，不会加载文件实际内容，代码量最少：

# 替换为实际的带通配符路径，支持*、?、字符集/范围匹配规则
target_pattern = "abfss://<容器名>@<存储账户名>.dfs.core.windows.net/业务目录/*20240[1-6]*.parquet"

# 仅读取匹配文件的元数据，不加载文件内容
matched_meta = spark.read.format("binaryFile").load(target_pattern).select("path")

# 转换为路径列表
matched_paths = [r.path for r in matched_meta.collect()]

# 校验匹配结果
has_matched = len(matched_paths) > 0

如果仅需要判断是否存在匹配文件、不需要拉取全量路径，可以在读取后加.limit(1)，命中第一个匹配文件就返回，开销极低。

方案2：基于Hadoop FileSystem API 实现（无Spark作业开销） #

Databricks底层依赖Hadoop FileSystem抽象，直接调用globStatus方法即可完成通配符匹配，不会启动Spark作业，小批量场景下响应更快：

# 导入JVM侧依赖
from py4j.java_gateway import java_import
java_import(spark._jvm, "org.apache.hadoop.fs.Path")

# 初始化ABFS文件系统客户端
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(spark._jsc.hadoopConfiguration())
target_pattern = spark._jvm.Path("abfss://<容器名>@<存储账户名>.dfs.core.windows.net/业务目录/*_error_log_*.json")

# 直接获取所有匹配文件的元信息
match_files = fs.globStatus(target_pattern)
matched_paths = [f.getPath().toString() for f in match_files]

注意事项 #

• 两种方案均支持标准Glob通配符语法：*匹配任意长度字符、?匹配单个字符、{a,b}匹配枚举值、[0-9]匹配范围值
• 目录下文件量级超过1000时，以上两种方案的性能比「dbutils.fs.ls拉全量+手动遍历匹配」高1~2个数量级
• 匹配路径时注意权限配置，需要保证Databricks工作区对目标存储路径有读权限

内容的提问来源于stack exchange，提问作者KaranSingh