Parquet与Impala外部表数据类型不兼容问题及优化诉求

我之前处理过类似的Parquet与Impala/Hive兼容问题，给你两个问题的具体解决方案：

你遇到的核心问题是Parquet文件里的INT64类型被Impala错误解析成了DECIMAL(5,2)，手动改列类型后Impala Shell仍报错，大概率是Impala缓存了旧的元数据。这里给你一套无需手动改列的自动化方案，用Spark/PySpark来统一转换类型：

步骤1：用Spark读取并转换Parquet类型 #

Spark会自动识别Parquet里的INT64为LongType（对应Impala的BIGINT），直接读取后重新写入即可修复Schema：

from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder \
    .appName("FixParquetSchema") \
    .enableHiveSupport() \
    .getOrCreate()

# 读取原始Parquet文件
raw_df = spark.read.parquet("hdfs://path/to/your/original/parquet")

# 查看转换后的Schema，确认INT64已转为LongType（对应BIGINT）
raw_df.printSchema()

# 写入新的Parquet文件（建议先备份原始数据，避免丢失）
raw_df.write \
    .mode("overwrite") \
    .parquet("hdfs://path/to/fixed/parquet")

spark.stop()

步骤2：重新创建Impala外部表 #

可以让Impala自动推断正确的Schema，或者手动指定列类型为BIGINT：

-- 自动推断Schema（推荐）
CREATE EXTERNAL TABLE my_fixed_table
STORED AS PARQUET
LOCATION 'hdfs://path/to/fixed/parquet'
TBLPROPERTIES (
    'PARQUET_FALLBACK_SCHEMA_RESOLUTION' = 'name',
    'parquet.column.index.access' = 'true'
);

步骤3：刷新Impala元数据（解决手动改列后Shell仍报错的问题） #

如果之前手动修改过列类型，执行以下命令清空Impala的元数据缓存：

INVALIDATE METADATA my_table;
-- 或者针对单表刷新
REFRESH my_table;

执行后再用Impala Shell查询就不会报错了。

你遇到的报错：

Error: Error while compiling statement: FAILED: ParseException line 1:30 extraneous input 'limit' expecting Number near '' (state=42000,code=40000).

这个是语法错误，和表结构无关，大概率是你的查询语句有问题，常见原因和解决方法：

1. LIMIT关键字后缺少数字
   Hive要求LIMIT后面必须跟正整数，比如不能写select * from my_table limit;，正确写法是：

   select * from my_table limit 10; -- 指定返回行数
   

2. 表名包含特殊字符或关键字
   如果你的表名是Hive关键字（比如from、select），或者包含空格、下划线以外的特殊字符，需要用反引号包裹：

   select * from `my_from`; -- 注意反引号是键盘左上角的`，不是单引号
   

3. 批量查询语句模板错误
   多个表都出现这个问题，说明你可能用了批量生成的查询语句，检查模板里的LIMIT部分是否遗漏了数字，或者表名是否正确转义。

4. 刷新Hive元数据（可选）
   如果是元数据同步问题，执行以下命令修复：

   MSCK REPAIR TABLE my_table;
   

内容的提问来源于stack exchange，提问作者Ponns