如何在Spark DataFrame中更新指定单元格值？含多表关联场景

刚接触Spark DataFrame不用慌，你的需求本质是保留主表所有行，匹配关联表的对应字段，这在Spark里用**左连接（Left Join）**就能轻松实现，我会一步步给你拆解操作：

1. 先明确数据结构 #

首先咱们把你的示例数据明确成带列名的结构，方便后续操作：

• Df1（主表）：列名id、num，数据是(a,10)、(b,20)、(c,30)
• Df2（关联表）：列名id、tag，数据是(a,A1)、(c,C1)

你的期望输出其实是把两个表按id匹配，保留Df1的所有行，匹配到的带上Df2的tag，没匹配到的用null（对应你示例里的NaN）填充。

2. 完整代码示例 #

下面是从初始化Spark环境到执行连接的完整代码，每一步都加了注释：

# 1. 初始化SparkSession（Spark操作的入口）
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("LeftJoinExample").getOrCreate()

# 2. 创建示例DataFrame
# 创建Df1数据
data1 = [("a", 10), ("b", 20), ("c", 30)]
df1 = spark.createDataFrame(data1, ["id", "num"])

# 创建Df2数据
data2 = [("a", "A1"), ("c", "C1")]
df2 = spark.createDataFrame(data2, ["id", "tag"])

# 3. 执行左连接
# 以id作为连接键，left_outer表示保留左表（df1）的所有行
result_df = df1.join(df2, on="id", how="left_outer")

# 4. 查看结果
result_df.show()

3. 代码解释 #

• SparkSession初始化：这是使用Spark DataFrame的第一步，必须先创建这个会话对象才能进行后续操作。
• 创建DataFrame：用createDataFrame把Python列表转换成Spark DataFrame，同时指定列名，让数据结构更清晰。
• 左连接操作：
  • on="id"：指定两个表根据id列进行匹配
  • how="left_outer"：表示保留左表（df1）的所有行，右表（df2）中匹配到id的就把tag列的值添加上，没匹配到的tag列会填充为null（对应你示例里的NaN）
• 展示结果：show()方法会把DataFrame的内容打印出来，方便你验证结果。

4. 执行结果 #

运行上面的代码后，你会得到如下输出：

+---+---+----+
| id|num| tag|
+---+---+----+
|  a| 10|  A1|
|  b| 20|null|
|  c| 30|  C1|
+---+---+----+

这和你期望的结果完全一致（Spark里的null就对应你示例中的NaN）。

内容的提问来源于stack exchange，提问作者Sham