如何动态将列数不固定的DataFrame中布尔类型列转为字符串类型？

当你在Notebook中处理列数不固定的Spark DataFrame时，需要自动识别所有布尔类型的列并转换为字符串类型，可以用以下方案实现：

完整代码实现 #

from pyspark.sql import functions as F
from pyspark.sql.types import StringType

def bool_col_DataTypes(DataFrame):
    """接收Spark DataFrame，返回所有布尔类型列的列表"""
    dtype_dict = dict(DataFrame.dtypes)
    return [col_name for col_name, dtype in dtype_dict.items() if dtype == 'boolean']

# 获取所有布尔类型列的列表
bool_columns = bool_col_DataTypes(df)

# 遍历转换每个布尔列为字符串类型
for col in bool_columns:
    df = df.withColumn(col, F.col(col).cast(StringType()))

new_df = df

代码说明 #

• 提取布尔列列表：bool_col_DataTypes函数通过解析DataFrame的dtypes属性（转为字典后筛选），自动找出所有类型为boolean的列名，实现动态识别。
• 类型转换：遍历布尔列列表，使用withColumn和cast(StringType())逐个将列类型转换为字符串，确保只处理布尔列，不影响其他类型的列。
• 结果输出：最终new_df即为完成类型转换后的DataFrame。

内容的提问来源于stack exchange，提问作者JTD2021