如何在Kafka中实现无聚合的滑动窗口操作以获取指定时段全量数据

完全可以实现该需求，Kafka的窗口操作本身只是按时间维度划分数据的逻辑规则，并没有强制绑定聚合操作，公开案例多为聚合场景只是因为统计是窗口的高频使用方向，不代表只能用于聚合计算。下面提供两种主流实现方案：

方案1：使用Kafka Streams实现 #

适合已经在使用Kafka流处理框架的场景，核心逻辑是划分窗口后直接收集全量原始数据即可：

• 无需修改窗口定义逻辑，仅需替换聚合算子为全量收集逻辑，支持滑动/滚动/会话等所有窗口类型
• 核心代码示例：

// 定义10分钟滚动窗口，可根据乱序情况调整宽限期
TimeWindows tenMinWindow = TimeWindows.ofSizeWithNoGrace(Duration.ofMinutes(10));

inputStream
    .groupByKey()
    .windowedBy(tenMinWindow)
    // 直接聚合为原始数据列表，不做计数、求和等统计操作
    .aggregate(
        ArrayList::new,
        (key, value, list) -> {
            list.add(value);
            return list;
        }
    )
    .toStream()
    // 按窗口输出全量原始数据
    .foreach((windowKey, rawDataList) -> {
        // 此处可根据需求处理全量原始数据
        System.out.printf("窗口[%s - %s] 原始数据条数：%d%n",
            windowKey.window().startTime(),
            windowKey.window().endTime(),
            rawDataList.size());
    });

• 注意事项：如果单窗口数据量较大，需要调整RocksDB状态存储的内存配置，避免OOM；存在乱序数据时可通过ofSizeAndGrace方法设置窗口等待时间，避免数据遗漏。

方案2：使用原生Kafka Consumer实现（轻量无依赖） #

适合不需要引入流处理框架的轻量场景，客户端自行维护时间窗口缓冲即可：

• 核心逻辑：消费消息时只保留时间戳在「当前时间-10分钟」范围内的消息，定期清理缓冲中超时的旧数据，需要时直接读取缓冲即可拿到全量原始数据
• 适用场景：topic流量不大、对延迟要求不高的场景，实现成本更低

内容的提问来源于stack exchange，提问作者Manish Kumar