从PySpark转Scala：DataFrame每次转换需声明新变量吗？

答案是不需要。Scala里的变量分为两种，决定了你是否能复用变量名：

1. 用var复用变量（和PySpark写法一致） #

如果你习惯PySpark里复用同一个变量的方式，可以用var（可变变量）来声明，它允许你多次更新变量的引用：

var final_df = df.withColumn("xyz", df("items_summaries_marketplaceId"))
// 筛选要删除的列
val unwantedColumns = final_df.columns.filter(col => col.contains("xyz") || col.contains("zxy"))
// 直接更新final_df
final_df = final_df.drop(unwantedColumns: _*)

2. 用val链式调用（Scala推荐风格） #

Scala更推崇不可变编程，用val（不可变变量）配合链式调用，不需要中间变量，代码更简洁安全：

val final_df = df
  .withColumn("xyz", df("items_summaries_marketplaceId"))
  // 用transform处理依赖当前DataFrame的逻辑
  .transform(currentDf => {
    val unwantedColumns = currentDf.columns.filter(col => col.contains("xyz") || col.contains("zxy"))
    currentDf.drop(unwantedColumns: _*)
  })

这里的transform方法能让你在链式调用里拿到前一步转换后的DataFrame，方便基于最新的列做筛选。

为什么很多示例用val？ #

因为val是不可变的，一旦赋值就不能修改，能避免因意外改变变量引用导致的bug，更符合Spark的函数式模型。但这不是强制要求，你可以根据自己的习惯选择写法。

内容的提问来源于stack exchange，提问作者Nabeel Khan Ghauri