如何修改PySpark代码仅计算DataFrame字符串列的最大长度？

要只计算字符串类型列的最大长度，核心是先过滤出DataFrame中的字符串类型列，再对这些列执行原有的长度计算逻辑。具体修改步骤如下：

1. 导入StringType用于判断列的数据类型；
2. 在遍历列名时，增加类型判断条件，仅保留字符串类型的列；
3. 可选：为计算结果的列添加别名，方便识别对应原列的最大长度。

修改后的完整代码：

from pyspark.sql.functions import col, length, max
from pyspark.sql.types import StringType

# 仅针对字符串类型列计算最大长度，并为结果列添加清晰别名
df = df.select([max(length(col(name))).alias(f"max_length_{name}") for name in df.schema.names if isinstance(df.schema[name].dataType, StringType)])

关键说明 #

• 通过df.schema[name].dataType可以获取指定列的数据类型；
• isinstance(df.schema[name].dataType, StringType)用于判断该列是否为字符串类型；
• .alias(f"max_length_{name}")将结果列命名为max_length_原列名，避免默认的max(length(...))这类不直观的列名。

内容的提问来源于stack exchange，提问作者nam