Spark读取Parquet文件无法推断Schema：AnalysisException问题求助

一、排查无法推断Schema的原因及解决步骤 #

出现AnalysisException: Unable to infer schema for Parquet. It must be specified manually.错误，可按以下方向排查解决：

• 检查路径下的文件有效性：确认dbfs:/FileStore/parquet_data目录下存在合法的Parquet文件，而非空目录、其他格式文件改后缀或损坏文件。在Databricks中可执行dbutils.fs.ls("dbfs:/FileStore/parquet_data")查看文件列表，验证是否有.parquet结尾的有效文件。
• 验证单个文件完整性：尝试读取目录下的单个文件，比如spark.read.parquet("dbfs:/FileStore/parquet_data/xxx.parquet")，如果单个文件能正常读取，说明目录中存在损坏文件，需要清理或修复。
• 确认路径权限：确保Spark运行账号拥有该DBFS路径的读取权限，可通过Databricks Workspace界面查看并调整权限。
• 检查文件Schema一致性：如果目录下的Parquet文件Schema差异极大，Spark无法自动合并推断，这种情况必须手动指定Schema。

二、手动指定Schema的最佳实现方式 #

Spark中推荐两种手动指定Schema的方式，可根据场景选择：

1. 使用StructType定义（适配复杂结构） #

这种方式适合嵌套结构、需要动态调整字段的场景，类型定义更严谨：

# 导入必要的类型
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType

# 自定义Schema
custom_schema = StructType([
    StructField("user_id", IntegerType(), nullable=False),  # 非空整数类型
    StructField("username", StringType(), nullable=True),
    StructField("register_time", TimestampType(), nullable=True),
    StructField("is_active", StringType(), nullable=True)
])

# 读取Parquet时指定Schema
df = spark.read.schema(custom_schema).parquet(path='dbfs:/FileStore/parquet_data')

2. 使用DDL语句定义（简洁快速） #

如果Schema结构简单，用DDL字符串定义更高效，语法与SQL一致：

# 用DDL语句定义Schema
ddl_schema = "user_id INT NOT NULL, username STRING, register_time TIMESTAMP, is_active STRING"

# 读取Parquet时指定Schema
df = spark.read.schema(ddl_schema).parquet(path='dbfs:/FileStore/parquet_data')

注意：手动指定Schema时，字段类型必须与Parquet文件中的实际类型匹配，否则会出现类型转换错误。

内容的提问来源于stack exchange，提问作者SHAILESH MAHESHWARI