如何获取PySpark DataFrame各列的最大长度？

方法一：快速计算所有列的最大长度 #

直接遍历DataFrame的所有列，对每个列计算值的长度最大值，同时处理空值情况：

from pyspark.sql.functions import col, length, max, coalesce, lit

# 生成每个列的最大长度计算表达式
max_length_exprs = [
    max(coalesce(length(col(c)), lit(0))).alias(f"max_length_{c}")
    for c in df.columns
]

# 执行聚合操作，得到各列最大长度结果
max_length_df = df.agg(*max_length_exprs)
max_length_df.show()

方法二：按数据类型区分处理 #

如果需要针对字符串列、数值列分别处理（比如数值列需先转为字符串再计算长度），可以按列类型拆分计算：

from pyspark.sql.functions import col, length, max, coalesce, lit

# 筛选出字符串类型的列
string_cols = [field.name for field in df.schema.fields if field.dataType == StringType()]
# 筛选出数值类型的列（这里以IntegerType为例，可扩展至其他数值类型）
numeric_cols = [field.name for field in df.schema.fields if field.dataType == IntegerType()]

# 字符串列直接计算长度最大值
string_max_exprs = [max(coalesce(length(col(c)), lit(0))).alias(f"max_length_{c}") for c in string_cols]
# 数值列先转为字符串，再计算长度最大值
numeric_max_exprs = [max(coalesce(length(col(c).cast(StringType())), lit(0))).alias(f"max_length_{c}") for c in numeric_cols]

# 合并所有表达式并执行计算
all_max_exprs = string_max_exprs + numeric_max_exprs
max_length_df = df.agg(*all_max_exprs)
max_length_df.show()

说明 #

• coalesce(length(col(c)), lit(0)) 用于处理空值（null）：因为length(null)会返回null，通过coalesce将null替换为0，确保聚合计算时不会忽略空值的情况。如果不需要处理空值，直接使用length(col(c))即可。
• 方法一操作简便，适合快速计算所有列；方法二更灵活，能根据列的类型定制计算逻辑。

内容的提问来源于stack exchange，提问作者venus