Flink流模式读Hive设置最早偏移仍仅读取最新分区问题

• 核心原因：参数拼写错误，你的SQL中配置消费顺序的参数为stream-source.consume-order，缺少了ing后缀，正确参数名为streaming-source.consume-order。配置不生效的情况下，Flink Hive流读默认使用create-time（分区创建时间）作为消费顺序，此时你设置的streaming-source.consume-start-offset是分区名格式，和创建时间的匹配规则不兼容，Flink无法正确识别起始偏移，最终默认从最新创建的分区开始消费，所以只有year=2021/month=09/day=20的数据流入。
• 其他可能原因：如果修正参数后问题依然存在，通常是以下两种情况：
  1. 使用的Flink版本低于1.13，旧版本存在分区起始偏移匹配逻辑的bug，会遗漏符合条件的历史分区
  2. 已存在的year=2021/month=09/day=15至year=2021/month=09/day=19分区的元数据没有被Flink成功扫描到，比如Hive Metastore连接异常、分区读取权限不足

• 第一步：修正SQL中的参数拼写，将stream-source.consume-order替换为streaming-source.consume-order，修正后的完整SQL如下：

SELECT * FROM table_name
OPTIONS(
  'streaming-source.enable'='true',
  'streaming-source.monitor-interval'='1 min',
  'streaming-source.partition.include'='all',
  'streaming-source.consume-order'='partition-name',
  'streaming-source.consume-start-offset'='year=2021/month=09/day=15'
)

• 第二步：如果修正参数后问题仍未解决，优先将Flink版本升级至1.13及以上稳定版，该版本对Hive流读的分区扫描、偏移匹配逻辑做了大量修复，兼容性更好。
• 第三步：如果版本升级无法操作，可额外添加配置'streaming-source.partition.discovery.interval' = '1min'确保分区扫描逻辑正常开启，同时检查Flink任务对Hive表15-19号分区的读取权限，以及Hive Metastore的连通性。

内容的提问来源于stack exchange，提问作者abner