Apache Iceberg分区咨询：HOUR与hours差异及跨分区过滤可行性

1. hour与hours函数的差异 #

• hour()是日期组件提取函数：从日期/时间类型字段中提取小时部分，返回0-23之间的整数，比如hour('2024-05-20 19:30:00')会返回19，是Iceberg分区场景的常用函数。
• hours()是时间间隔构造函数：生成代表N小时的时间间隔值，参数为整数，比如hours(19)表示“19小时”的时长，不能用于提取日期字段的小时信息，和hour()属于完全不同类型的函数。

2. 按HOUR(created_dt)分区时，WHERE MONTH(created_dt)过滤是否利用分区特性？ #

不会利用分区剪裁特性。
原因是：Iceberg的分区剪裁依赖分区键与过滤条件的直接映射关系。当分区键为HOUR(created_dt)时，分区元数据仅存储每个分区对应的小时值，Iceberg无法通过单个小时值反向推导其所属月份，无法确定哪些分区属于目标月份范围，因此只能扫描全部分区，无法借助分区减少数据扫描量。

3. hours(played_at)=19无结果，hour(played_at)=19有结果的原因 #

• 执行hours(played_at)=19属于错误用法：hours()的参数应为整数，用于构造时间间隔，而非日期时间字段。这种情况下要么类型不匹配导致逻辑错误，要么hours(played_at)的计算结果根本不是整数19，自然查不到数据。
• 执行hour(played_at)=19时，hour()函数正确提取了played_at字段的小时部分，与整数19的比较逻辑符合预期，因此能返回正确统计结果。

内容的提问来源于stack exchange，提问作者Yura Khavyk