spark.sql.files.maxPartitionBytes与spark.files.maxPartitionBytes有何区别？后者是否适用于RDD？

是的，spark.files.maxPartitionBytes确实用于RDD等低级API的文件读取场景，二者的核心区别在于作用的API层级不同：

• spark.sql.files.maxPartitionBytes（Spark 2.0.0引入）

  读取文件时，单个分区可容纳的最大字节数。该配置仅在使用Parquet、JSON和ORC等基于文件的数据源时生效。
  此配置专门服务于Spark SQL/DataFrame API层面的结构化文件读取操作，比如调用spark.read.parquet()、spark.read.json()等方法读取数据时，会依据该参数划分分区大小。

• spark.files.maxPartitionBytes（Spark 2.1.0引入）

  读取文件时，单个分区可容纳的最大字节数。
  此配置针对的是RDD这类低级API的文件读取场景，比如使用sc.textFile()、sc.hadoopFile()等底层操作读取文件时，会用该参数控制单个分区的字节上限。

两者的设计逻辑是为了让不同层级的文件读取操作可以独立控制分区粒度，避免配置相互干扰，确保SQL/DataFrame和RDD层面的文件读取能分别适配各自的使用场景。

内容的提问来源于stack exchange，提问作者mandar