我之前处理过类似的问题，Spark 1.6.0和Impala的这类兼容性问题挺常见的，尤其是元数据同步和文件格式处理上的差异。结合你遇到的报错——读取特定文件part-00017时出现未知错误，且Hive查询正常的情况，给你几个排查和解决的方向：

1. 先强制同步Impala元数据 #

Impala依赖自身的元数据缓存，Hive元数据更新后它经常不会自动同步，这是最常见的原因。执行以下SQL命令：

-- 彻底刷新指定表的元数据（会清空缓存重新加载）
INVALIDATE METADATA your_database.tablename;
-- 如果是分区表，额外刷新分区信息
REFRESH your_database.tablename;

先跑INVALIDATE METADATA，再执行REFRESH，很多时候这一步就能解决count(*)和带where子句的查询报错。

2. 检查异常文件的状态 #

报错指向了part-00017这个文件，先去HDFS上验证它的完整性：

# 查看文件基本信息
hdfs dfs -stat hdfs://server/products/path/db/tablename/part-00017
# 检查文件校验和
hdfs dfs -checksum hdfs://server/products/path/db/tablename/part-00017

如果文件大小异常、校验和错误，或者干脆不存在，那说明Spark写表时生成了损坏的文件，需要重新用Spark刷一遍表。另外，Spark 1.6有时会遗留_temporary开头的临时目录，Hive会自动忽略，但Impala读取时可能出问题，手动删除试试：

hdfs dfs -rm -r hdfs://server/products/path/db/tablename/_temporary

3. 核对文件格式与压缩设置 #

Spark写表时的格式/压缩参数可能和Impala的支持不匹配：

• 如果是ORC表：Spark 1.6默认的ORC版本可能和Impala兼容不好，写表前加上参数指定低版本ORC：

  SET hive.exec.orc.default.format=ORCv1;
  

  重新刷表后再让Impala读取。
• 如果用了压缩（比如Snappy）：确保Impala节点已经安装了对应的压缩依赖包，否则无法解析压缩文件。

4. 重新计算Impala表统计信息 #

过期的表统计数据也可能导致Impala查询异常，执行命令重新计算：

COMPUTE STATS your_database.tablename;

这会让Impala重新获取表的行数、文件分布等信息，优化查询计划的同时也可能解决count(*)的报错。

5. 版本兼容性排查 #

Spark 1.6.0是比较老旧的版本了，确认你的Impala版本和它是否兼容。某些新Impala版本对老Spark写的Parquet/ORC文件支持不佳，这种情况下要么升级Spark（当然成本可能高），要么在Spark写表时指定更兼容的格式参数。

如果以上步骤都无效，可以试试曲线救国：用Hive把表数据导出到临时表，重新创建目标表后再导入数据，或者直接用Hive重写一遍表数据，再让Impala读取。

内容的提问来源于stack exchange，提问作者jintocvg