PySpark读取CSV时select()忽略if条件，如何仅计算字符串列最大长度

感谢@DerekO的示例，该示例能够正确计算字符串列的最大长度，但在加载CSV文件生成DataFrame时，原代码中的类型过滤条件未生效，导致会计算所有列（包括整数、双精度等非字符串类型）的最大长度。以下是不自定义Schema的前提下的改进方案：

问题原因 #

原代码中使用schema.dataType == StringType()进行类型判断，虽然逻辑上正确，但由于StringType()每次调用都会生成新的实例，在Python的实例比较中可能出现预期外的判断结果。改用基于类型实例的isinstance判断会更可靠。

改进后的代码 #

from pyspark.sql.functions import col, length, max
from pyspark.sql.types import StringType

# 加载CSV文件，保留原类型推断逻辑
df = spark.read.option("delimiter", ',').option("header", 'true')\
      .option("escape", '"').option("inferSchema", 'true')\
      .csv("abfss://myContainer@myStorageAccountName.dfs.core.windows.net/" + myFile_path)

# 提取所有字符串类型的列名
string_columns = [field.name for field in df.schema if isinstance(field.dataType, StringType)]

# 仅计算字符串列的最大长度
result_df = df.select(
    [max(length(col(col_name))).alias(f"{col_name}_max_length") for col_name in string_columns]
)

display(result_df)

代码说明 #

1. 拆分逻辑：先提取原始DataFrame中所有字符串类型的列名，再基于这些列名进行最大长度计算，逻辑更清晰，也避免了直接在select中嵌套复杂判断的潜在问题。
2. 可靠的类型判断：使用isinstance(field.dataType, StringType)替代直接的实例相等比较，确保准确识别所有字符串类型的列，适配Spark类型推断的内部实现。

内容的提问来源于stack exchange，提问作者nam