15000主机日志系统ETL管线选型：Apache Airflow vs Kafka Connect

引言 #

我已构建并管理一套工业网络库存解决方案：

数据源 → 由Apache AirFlow编排的ETL任务（Python）→ OpenSearch → 仪表盘

我的第二项工作是实现一套日志集中系统：

主机（日志代理）→ 摄入管线 → Kafka → 转换管线 → OpenSearch

• 日志类型：系统、应用及网络日志。
• 预期规模：15000台主机。

摄入与转换管线可通过Logstash或其他解析器实现。

摄入与转换管线要求 #

必须满足 #

• 可管理/可监控
• 可扩展
• 高可用
• 默认安全

建议满足 #

• 尽量复用现有技术组件以降低维护成本

方案选型与疑问 #

方案一：基于Apache AirFlow的管线编排管理 #

针对该方案，我存在以下疑问：

• Airflow能否处理如此大规模的I/O日志活动？
• Airflow能否扩展至支撑15000台主机的负载？

方案二：采用Kafka Connect #

若Airflow不适用于这类高I/O的日志系统管线，我计划选用Kafka Connect（新增系统组件会增加维护成本）。

注：我希望避免讨论维护成本，因其取决于行业、团队等因素。

内容的提问来源于stack exchange，提问作者saquiel