Impala能否读取多Schema Parquet文件？如何实现？

嘿，我来帮你搞定这个Impala的Parquet读取问题！先直接梳理核心结论，再一步步说具体解决方案：

核心问题解答 #

1. Impala能不能读取包含多个Parquet文件的文件夹？
   当然可以！你之前触发AnalysisException的原因是语法错误：LIKE PARQUET后面不能用通配符*.parquet，它要求指定单个具体的Parquet文件路径。正确做法是直接把LOCATION指向文件夹路径，Impala会自动扫描文件夹下所有Parquet文件。

2. Impala支持类似Spark的schema合并吗？
   Impala默认不支持自动合并不同schema的Parquet文件——它只会从指定的单个文件推断schema，或者使用你手动定义的schema。不过我们有几种实用办法来处理多schema场景，下面详细说明：

具体解决方案 #

方案一：手动定义完整表结构（最稳妥，适合已知所有schema的情况） #

如果你清楚所有Parquet文件包含的字段和类型，直接手动创建外部表，把所有可能的字段都列出来，然后指向目标文件夹：

CREATE EXTERNAL TABLE ingest_parquet_files (
  id INT,
  username STRING,
  create_time TIMESTAMP,
  extra_info STRING -- 包含其他文件里可能有的额外字段
)
STORED AS PARQUET
LOCATION '/path/to/my/files/'; -- 直接指向文件夹，不要加通配符

这样Impala读取文件时，对于某个文件里不存在的字段，会返回NULL，完美兼容多schema场景。

方案二：先从样本文件推断schema，再扩展（适合schema部分未知的情况） #

如果你不确定完整的schema，可以找一个包含最多字段的Parquet文件作为样本，先基于它生成基础表结构，再手动添加其他文件里的额外字段：

1. 先创建一个临时表（或直接目标表）从样本文件推断schema：

CREATE EXTERNAL TABLE temp_parquet
LIKE PARQUET '/path/to/my/files/sample_with_max_fields.parquet'
STORED AS PARQUET
LOCATION '/tmp/temp/'; -- 临时位置，后续可修改

2. 修改目标表，添加其他文件中存在但样本文件没有的字段：

ALTER TABLE ingest_parquet_files ADD COLUMNS (
  new_column DOUBLE,
  another_column BOOLEAN
);

3. 最后把表的存储位置指向实际的Parquet文件夹：

ALTER TABLE ingest_parquet_files SET LOCATION '/path/to/my/files/';

方案三：开启Impala的Schema演化（有限支持，适合仅添加字段的场景） #

从Impala 3.0版本开始，支持Parquet的schema演化功能，但仅支持添加新字段（不支持删除字段或修改已有字段类型），需要先开启相关配置：

1. 在Impala Shell中开启schema演化开关：

SET PARQUET_SCHEMA_EVOLUTION=true;

2. 然后直接创建表并指向文件夹，Impala会自动合并所有文件的兼容schema：

CREATE EXTERNAL TABLE ingest_parquet_files
STORED AS PARQUET
LOCATION '/path/to/my/files/';

注意：这个功能对字段类型兼容性要求高，如果不同文件中同名字段类型不一致，会导致读取失败，使用前建议先测试你的文件集合。

内容的提问来源于stack exchange，提问作者Fabian