是否仅Java、Scala提供Kafka Streams API？能否用Python开发该应用及获取流处理资源

原生API支持情况 #

• 官方原生的Kafka Streams确实仅提供Java和Scala的API，这两个是官方直接维护支持的。

Python开发流处理的替代方案 #

虽然没有官方的Python版Kafka Streams，但你可以用以下工具实现join、窗口计算、聚合这类核心流处理操作：

• Faust：专为Kafka设计的Python流处理库，完全支持Kafka Streams的核心特性，语法风格贴近Kafka Streams，上手门槛低，适合Python开发者实现流处理逻辑。
• ksqlDB：基于SQL的流处理引擎，你可以通过Python的HTTP客户端或Kafka客户端与其交互，用SQL语句编写join、聚合、窗口等逻辑，再在Python应用中调用执行。
• Apache Flink：支持Python API的通用流处理框架，可对接Kafka作为数据源和输出端，能实现复杂的流处理需求，包括各类join、窗口计算和聚合操作。

Faust简单聚合示例 #

下面是用Faust实现分组计数聚合的代码片段：

import faust

# 初始化Faust应用
app = faust.App('my-stream-app', broker='kafka://localhost:9092')
# 定义输入主题
input_topic = app.topic('user-events', value_type=str)
# 定义用于聚合的状态表
agg_table = app.Table('user-count-table', default=int)

@app.agent(input_topic)
async def process_events(stream):
    # 按用户ID分组并计数
    async for event in stream.group_by(lambda e: e.split(',')[0]):
        agg_table[event.split(',')[0]] += 1
        yield f"用户{event.split(',')[0]}的事件数：{agg_table[event.split(',')[0]]}"

if __name__ == '__main__':
    app.main()

内容的提问来源于stack exchange，提问作者Arman Malkhasyan