如何将PySpark DataFrame所有值转换为大写或小写？

没问题，我来帮你搞定这个困扰！既然你不能改动DataFrame里的原始值，那我们完全可以在计算哈希的环节临时统一列值的大小写，根本不用碰原数据。

核心思路 #

不用修改原始DataFrame的内容，而是在生成行哈希的步骤中，先对每个需要参与哈希计算的列做大小写转换（统一转大写或小写），再拼接计算哈希值。这样既保留了原数据的完整性，又能让大小写不同的相同内容生成一致的哈希。

具体实现代码 #

假设你原本是直接用原列拼接后计算哈希，现在修改成以下方式：

方式1：对所有列统一转大写（适合全是字符串列的场景）

from pyspark.sql.functions import sha2, concat_ws, upper, col

# 对df_db1生成统一大小写后的行哈希
df_db1_hash = df_db1.withColumn(
    "row_hash",
    # 先把每个列转成大写，再用分隔符拼接，最后计算SHA256哈希
    sha2(concat_ws("|", *[upper(col(c)) for c in df_db1.columns]), 256)
)

# 对df_db2执行同样的操作，保证转换规则一致
df_db2_hash = df_db2.withColumn(
    "row_hash",
    sha2(concat_ws("|", *[upper(col(c)) for c in df_db2.columns]), 256)
)

方式2：只对字符串列转大小写（更精准，适合混合类型列）

如果你的DataFrame里有数值、日期等非字符串列，没必要对它们做大小写转换，可以先筛选出字符串列单独处理：

from pyspark.sql.functions import sha2, concat_ws, upper, col

# 先获取df_db1中的字符串类型列
string_cols = [col_name for col_name, dtype in df_db1.dtypes if dtype == "string"]

# 生成转换后的列表达式：字符串列转大写，非字符串列保留原值
transformed_cols = []
for col_name in df_db1.columns:
    if col_name in string_cols:
        transformed_cols.append(upper(col(col_name)))
    else:
        transformed_cols.append(col(col_name))

# 计算哈希值
df_db1_hash = df_db1.withColumn(
    "row_hash",
    sha2(concat_ws("|", *transformed_cols), 256)
)

# 对df_db2执行完全相同的逻辑
df_db2_hash = df_db2.withColumn(
    "row_hash",
    sha2(concat_ws("|", *[upper(col(c)) if c in string_cols else col(c) for c in df_db2.columns]), 256)
)

注意事项 #

• 确保你已经统一了两个DataFrame的列名（比如你已经用toDF(*[c.lower() for c in ...])转成小写），这样拼接列的顺序和名称完全对应，哈希结果才有可比性。
• 如果你习惯用小写统一，把代码里的upper()换成lower()就行，只要两个DataFrame用同样的转换规则就没问题。

内容的提问来源于stack exchange，提问作者Jack