调整键列匹配连接条件：如何统一DataFrame的id_text字段格式？

你需要处理2万条记录的数据集，通过id_text列连接两个Spark DataFrame，但两列的格式是反转的：

• df1的id_text示例：X North、Y South、Z West
• df2的id_text示例：North X、South Y、West Z

当前使用的连接代码：

df1.join(df2, df1.id_text == df2.id_text, "inner").select(df1['*'], df2['Name'].alias('DName'))

修改df2的id_text格式的方案 #

利用Spark内置函数，通过拆分、反转、拼接的方式批量调整格式，无需硬编码修改每条记录：

from pyspark.sql.functions import split, reverse, concat_ws

# 格式化df2的id_text列，使其与df1格式一致
df2_formatted = df2.withColumn(
    "id_text",
    concat_ws(" ", reverse(split(df2.id_text, " ")))
)

# 使用格式化后的df2执行连接操作
result_df = df1.join(df2_formatted, df1.id_text == df2_formatted.id_text, "inner") \
               .select(df1['*'], df2_formatted['Name'].alias('DName'))

代码逻辑说明 #

1. split(df2.id_text, " ")：将id_text按空格拆分为数组，例如"North X"会变成["North", "X"]
2. reverse(...)：反转数组元素顺序，得到["X", "North"]
3. concat_ws(" ", ...)：用空格将反转后的数组重新拼接为字符串，最终得到"X North"，与df1的格式完全匹配

如果id_text中存在多个连续空格，可以将拆分规则改为split(df2.id_text, "\\s+")，匹配任意数量的空白字符。

内容的提问来源于stack exchange，提问作者Durga