在Scala与Spark中使用spark.sql.functions是否属于函数式编程？

一、Scala与Spark场景下的函数式编程判定标准 #

在Scala+Spark的开发场景中，满足以下核心特征的编程方式即可认定为函数式编程：

• 不可变数据优先：依赖Spark的RDD、Dataset这类天生不可变的分布式数据集，Scala代码中优先使用val而非var，避免修改变量状态
• 无副作用的纯函数：函数的输出完全由输入参数决定，不修改外部变量、不执行IO操作（比如写文件、数据库）、不产生任何可观测的外部影响
• 使用纯函数式操作：借助Spark提供的高阶函数（如map、filter、reduce）或spark.sql.functions库中的纯函数（如count、sum），这些函数都是输入确定则输出确定的无副作用函数

针对你的做法：使用spark.sql.functions库函数、采用不可变数据、拆分无副作用独立函数，完全属于函数式编程的范畴，完美契合上述核心特征。

二、统计每年销售数量的其他实现方式 #

除了你给出的写法，还有以下几种常见实现方式：

1. 强类型Dataset操作（推荐） #

利用Scala的强类型特性，直接操作Sale类的属性，编译期即可检查错误：

import org.apache.spark.sql.functions.count

def salesPerYearStrongType(sales: Dataset[Sale]): Dataset[(Int, Long)] = {
  sales.groupByKey(_.Year)
       .agg(count("*").as[Long])
       .map { case (year, total) => (year, total) }
}

2. RDD API底层实现 #

如果偏好更底层的函数式操作，可以使用RDD API：

def salesPerYearRDD(sales: RDD[Sale]): RDD[(Int, Long)] = {
  sales.map(sale => (sale.Year, 1L))
       .reduceByKey(_ + _)
}

3. 纯SQL查询方式 #

通过创建临时视图，用SQL语句实现统计：

def salesPerYearSQL(sales: Dataset[Sale]): DataFrame = {
  sales.createOrReplaceTempView("sales_table")
  spark.sql("SELECT Year, COUNT(*) AS total_sales FROM sales_table GROUP BY Year")
}

三、你的代码是否符合要求 #

先看你给出的代码：

def salesPerYear(sales: Dataset[Sale]): Dataset[Row] =
    sales.groupBy("Year").count()

这段代码完全符合函数式编程的要求：

• 输入是不可变的Dataset[Sale]，输出是新生成的Dataset[Row]，没有修改原数据，满足不可变性要求
• 函数本身无任何副作用：仅对输入数据集执行分组统计操作，不影响外部状态
• 使用的groupBy和count都是Spark提供的无副作用纯函数

如果要进一步优化，建议改用强类型的groupByKey替代字符串列名的groupBy，这样能在编译期发现列名拼写错误，更符合Scala强类型函数式的开发风格。

内容的提问来源于stack exchange，提问作者mh177