是否需要Apache Spark执行Airflow DAG任务并实现分布式处理？
2026-6-19
是否需要Apache Spark实现分布式处理？
核心结论：当前场景不需要Apache Spark，切换Airflow到Celery Executor即可满足分布式需求
具体分析：
- 单文件数据量极小：每个CSV仅20MB，这类规模的地理数据处理，用
GeoPandas或Pandas结合shapely等地理空间库就能在单进程内高效完成，完全不需要分布式计算框架。Spark的核心价值是处理单节点内存/算力无法承载的超大规模数据集（GB/TB级），你的场景远未达到这个阈值。 - Airflow Celery Executor足够实现分布式：
- 切换到Celery Executor后，Airflow可以将不同DAG的任务、或同一DAG内的并行任务，分散到多个worker节点执行，实现任务级的分布式调度。
- 针对你的地理ETL任务，每个任务独立处理一个20MB的CSV，Celery Executor能通过横向增加worker节点直接提升整体处理吞吐量，完全覆盖需求。
- 引入Spark会增加不必要的复杂度：Spark需要维护独立集群、编写Spark作业、适配资源调度，对于当前小数据量场景，这些额外的运维和开发成本完全没必要。
建议方案：
- 保持现有ETL任务的实现逻辑，用
GeoPandas/shapely完成Linestring生成、拆分、缓冲区去重等地理操作。 - 将Airflow从Local Executor切换为Celery Executor，配置多个worker节点实现任务级分布式执行。
- 仅当未来数据量显著增长（比如单个CSV达到数百MB/GB级别，或文件数量激增导致单节点处理能力不足），再考虑引入Spark进行数据级的分布式计算。
内容的提问来源于stack exchange，提问作者ShariqHameed
相关产品推荐
相关产品推荐
