当然有啦！除了Offset之外，有好几种实用的方法可以按时间区间拉取数据，针对你说的「消费昨日所有数据」的场景，我给你整理了几个常用且靠谱的方案：

1. 基于时间戳字段直接过滤 #

这是最直观的方式——如果你的数据（不管是数据库表还是消息）自带生成/事件时间戳字段（比如event_time、create_at），直接用时间范围做过滤就行。

• 比如SQL查询昨日数据：

SELECT * FROM your_data_table
WHERE event_time >= DATE_SUB(CURDATE(), INTERVAL 1 DAY) 
  AND event_time < CURDATE();

• 如果是消息队列（比如Kafka、RocketMQ），大部分客户端都支持按时间戳定位偏移量：先拿到昨日0点对应的偏移量，再从这个位置开始消费，直到今日0点的偏移量停止，完美覆盖昨日全量数据。

2. 利用时间分区/分片优化效率 #

如果你的数据是按时间做了分区存储（比如数据库的按天分区表、Kafka按小时划分的主题分区、Hive的日期分区），那直接定位到昨日的分区即可，不用遍历全量数据，效率拉满。
举个例子，Hive里直接指定分区：

SELECT * FROM hive_partitioned_table WHERE dt = '2024-05-20';

这种方式适合数据量较大的场景，比全表过滤快得多。

3. 游标（Cursor）+ 时间排序分页 #

对于Elasticsearch、MongoDB这类非关系型数据库，或者一些提供游标能力的API服务，可以用基于时间字段的游标查询来分批拉取数据。
比如MongoDB的示例：

// 查询昨日的所有数据，用游标分批获取
const yesterdayStart = new Date(new Date().setHours(0,0,0,0) - 86400000);
const todayStart = new Date(new Date().setHours(0,0,0,0));

const cursor = db.your_collection.find({
  create_time: { $gte: yesterdayStart, $lt: todayStart }
}).sort({ create_time: 1 });

// 分批处理
while (cursor.hasNext()) {
  const batch = cursor.nextBatch(1000);
  processBatch(batch);
}

这种方式避免了Offset的局限性（比如数据删除后Offset错位），而且能保证数据的顺序性。

4. 消费端本地校验时间边界 #

如果是消息消费场景，你也可以在消费端自己维护时间范围：先定位到大概的起始偏移量，然后在消费每条消息时二次校验时间，只处理属于昨日的消息。不过要注意，如果消息存在乱序情况，最好配合消息队列的时间偏移量定位功能一起用，避免漏处理或重复消费。

举个Kafka消费的伪代码示例：

// 计算昨日0点和今日0点的时间戳
LocalDateTime yesterdayStart = LocalDate.now().minusDays(1).atStartOfDay();
LocalDateTime todayStart = LocalDate.now().atStartOfDay();
long yesterdayTs = yesterdayStart.toInstant(ZoneOffset.ofHours(8)).toEpochMilli();
long todayTs = todayStart.toInstant(ZoneOffset.ofHours(8)).toEpochMilli();

// 根据时间戳获取起始偏移量
TopicPartition tp = new TopicPartition("your_topic", 0);
Map<TopicPartition, Long> timestampMap = Collections.singletonMap(tp, yesterdayTs);
Map<TopicPartition, OffsetAndTimestamp> offsetMap = consumer.offsetsForTimes(timestampMap);

// 定位到起始位置
if (offsetMap.get(tp) != null) {
  consumer.seek(tp, offsetMap.get(tp).offset());
}

// 开始消费，直到遇到今日的消息
while (true) {
  ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(2));
  for (ConsumerRecord<String, String> record : records) {
    if (record.timestamp() >= todayTs) {
      // 到达今日时间，停止消费
      consumer.close();
      return;
    }
    // 处理昨日的消息
    handleMessage(record);
  }
}

内容的提问来源于stack exchange，提问作者Volatil3