如何解决Flink SQL Client读取Hive表可查元数据但无数据返回问题

问题成因 #

• 执行模式不匹配：Flink SQL Client默认启用流执行模式，读取静态Hive普通表时，流模式默认不会扫描全量历史数据，直接返回空结果。
• Hive连接器版本不兼容：使用的flink-sql-connector-hive版本与实际部署的Hive服务大版本不匹配，无法正确解析Hive写入的数据文件。
• 权限不足：Flink运行进程的用户没有Hive表数据对应的HDFS存储路径的读取权限。
• 配置缺失：未正确指定Hive配置文件路径，或未开启Hive读相关适配参数。

解决步骤 #

1. 切换Flink执行模式为批模式，在Flink SQL Client中执行以下语句后重新查询：

SET execution.runtime-mode = batch;

如果需要保留流模式读取Hive全量数据，可以额外开启配置：

SET 'hive.table.source.streaming-source.enable' = 'true';

2. 检查Hive连接器版本匹配性
   确保Flink集群lib目录下的Hive连接器与你的Hive服务版本完全匹配，比如使用Hive 2.3.x版本时，需要引入对应版本的flink-sql-connector-hive-2.3_x依赖，不可跨大版本混用。

3. 检查HDFS路径访问权限
   执行HDFS命令确认Flink运行用户有权限读取Hive表对应的数据目录：

hdfs dfs -ls /user/hive/warehouse/testdb.db/source/
hdfs dfs -cat /user/hive/warehouse/testdb.db/source/*

如果权限不足，给对应路径开通Flink用户的读取权限即可。

4. 验证Hive配置正确性
   确认Flink创建Hive Catalog时传入的hive-conf-dir路径下包含正确的hive-site.xml、core-site.xml、hdfs-site.xml配置文件，可正确识别HDFS集群地址和Hive元数据配置。如果配置无误还可尝试切换SQL方言为Hive后再查询：

SET table.sql-dialect = hive;

内容的提问来源于stack exchange，提问作者xm lian