Databricks读取Azure Blob多Parquet文件：非mergeSchema的Schema推断方法咨询

你可以通过先采样部分文件/数据来推断Schema，再用该Schema读取全部文件的方式解决这个问题，完全不需要依赖mergeSchema=True。以下是两种实用方案：

方案一：按文件数量采样推断Schema #

如果你的Parquet文件大小相对均匀，直接随机采样指定数量的文件来生成Schema，能覆盖更多文件的结构信息：

# 列出Azure Blob存储中目标路径下的所有Parquet文件
file_paths = dbutils.fs.ls("abfss://container@storageaccount.dfs.core.windows.net/path/to/parquets/")
parquet_files = [path.path for path in file_paths if path.path.endswith(".parquet")]

# 随机采样指定数量的文件（示例为20个，可根据实际调整）
import random
sample_size = 20
sampled_files = random.sample(parquet_files, min(sample_size, len(parquet_files)))

# 读取采样文件，获取统一Schema
sample_df = spark.read.parquet(*sampled_files)
target_schema = sample_df.schema

# 用预定义的Schema读取全部文件
full_df = spark.read.schema(target_schema).parquet("abfss://container@storageaccount.dfs.core.windows.net/path/to/parquets/")

方案二：按数据量采样推断Schema #

如果文件大小差异较大，按数量采样可能不够全面，可以通过限制读取的文件数+行数来获取足够覆盖性的Schema：

# 读取指定数量的文件+限定行数，生成Schema
sample_df = spark.read.option("maxFilesPerTrigger", 20) \
               .parquet("abfss://container@storageaccount.dfs.core.windows.net/path/to/parquets/") \
               .limit(10000)
target_schema = sample_df.schema

# 用该Schema读取全部文件
full_df = spark.read.schema(target_schema).parquet("abfss://container@storageaccount.dfs.core.windows.net/path/to/parquets/")

其中maxFilesPerTrigger控制单次读取的文件数量，limit限制采样的总行数，两者配合可以在不读取全量数据的前提下，尽可能覆盖更多文件的Schema特征。

补充说明 #

• 这两种方案都避免了mergeSchema=True带来的全文件遍历性能开销，同时解决了仅从第一个文件推断Schema的局限性。
• 采样的文件数量/行数可以根据你的数据分布灵活调整：如果Schema差异可能出现在大量文件中，适当增大采样量即可。

内容的提问来源于stack exchange，提问作者Rohit Jhunjhunwala