Spark架构：转换Spark Application为DAG的组件及超深度原理咨询

1. 负责将Spark Application转换为DAG的组件 #

Spark中DAG的生成分两种场景，对应不同核心组件：

• 原生RDD API场景：由SparkContext负责构建DAG。当用户编写RDD转换操作时，SparkContext会跟踪每个RDD的依赖关系（窄依赖、宽依赖），将一系列RDD操作串联成有向无环图（DAG）；
• DataFrame/Dataset/SQL高阶API场景：先由**Catalyst Optimizer（催化剂优化器）**解析用户的逻辑查询，生成逻辑执行计划并完成优化，再将优化后的逻辑计划转换为包含物理执行节点的DAG，之后才会交给DAG Scheduler处理。

2. 获取Spark架构深度内部原理资料的渠道 #

以下是无需跳转外部网站的深度学习途径：

• Spark官方文档核心章节：重点阅读官方文档中的「Architecture Overview」和「Deep Dive」系列内容，覆盖从应用提交、调度到执行的全链路组件协作逻辑；
• Spark官方技术论文：
  • 《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》：RDD模型的核心奠基论文，理解Spark分布式计算的核心抽象；
  • 《Tungsten: Optimizing Spark Memory and CPU Efficiency》：详解Tungsten执行引擎的内存与CPU优化机制；
• Spark源码阅读：直接研读Spark核心模块的源码（如org.apache.spark.core、org.apache.spark.sql、org.apache.spark.scheduler包），结合代码注释掌握各组件的底层实现细节；
• 专业技术书籍：
  • 《Spark内核设计的艺术：架构设计与实现》：从源码角度系统性讲解Spark内核架构与执行流程；
  • 《Learning Spark: Lightning-Fast Big Data Analysis》（第二版及以后）：涵盖Spark核心架构、Tungsten优化、SQL引擎等深度内容，兼顾理论与实践。

内容的提问来源于stack exchange，提问作者Pankaj Shet