如何在Hive中创建视图时排除S3特定文件夹？

Hive中没有对应Athena $PATH的直接变量，需使用内置函数input_file_name()获取数据文件的完整路径，以此实现排除指定文件夹的逻辑。

你可以使用以下语句创建目标视图：

CREATE VIEW test
AS
SELECT *
FROM TABLE_A
WHERE NOT (input_file_name() LIKE '%PASSENGER_DATA%')
AND NOT (input_file_name() LIKE '%CUSTOMER_DATA%');

关键说明： #

• input_file_name()函数会返回当前处理的S3文件完整路径字符串，通过对该路径做模糊匹配，即可过滤掉来自指定文件夹的数据。
• 该函数在Hive 0.12及以上版本默认内置，无需额外配置。

内容的提问来源于stack exchange，提问作者vvazza