为何读取ADLS Gen2需用服务主体挂载文件系统？RDD API疑问

一、仅读取ADLS Gen2时，为何需要使用服务主体挂载DBFS？ #

首先明确：挂载DBFS不是读取ADLS Gen2的强制要求——你完全可以通过abfss协议直接访问ADLS路径（例如abfss://container@account.dfs.core.windows.net/path）。但挂载DBFS主要是为了获得这些实际便利：

• 简化路径书写：挂载后可用短路径（如/mnt/adls-dataset）替代冗长的ADLS URI，代码更简洁，团队协作时统一路径规范也更高效。
• 权限管理适配Databricks生态：通过DBFS挂载点，可结合Databricks工作区的权限模型，给不同用户/组分配挂载点的读写权限，无需直接在ADLS层面维护大量细粒度权限，更贴合Databricks的协作场景。
• 兼容旧代码与工具：部分早期Spark作业或第三方工具更适配HDFS风格路径，挂载DBFS后无需修改代码逻辑即可无缝兼容这类场景。

二、RDD API是不是必须使用的常规Spark API？ #

不是，RDD是Spark最底层的原生API，现在常规业务开发中优先使用DataFrame/DataSet API，核心原因包括：

• 自动性能优化：Spark的Catalyst优化器会自动对DataFrame/DataSet的执行计划进行优化，性能表现通常优于手动调优的RDD代码，无需开发者手动处理分区、shuffle等底层细节。
• 类型安全与结构化支持：DataSet提供编译时类型检查，能提前发现数据类型错误；DataFrame自带结构化Schema，更适合处理结构化/半结构化数据，操作逻辑更清晰。
• 开发效率更高：提供丰富的高阶函数和类SQL操作（如select、filter、groupBy），代码简洁易读，大幅降低开发与维护成本。
  只有在需要极致自定义控制（比如复杂的分区策略、自定义序列化逻辑）或处理非结构化数据的特殊场景下，才会考虑使用RDD API。

内容的提问来源于stack exchange，提问作者Karl Gardner