如何为PySpark DataFrame所有列批量绘制直方图？

没问题，我来帮你搞定这个批量绘制的需求！你单个列的实现逻辑是对的，只需要调整循环方式，再加上一点小优化就能实现批量处理了。

优化后的完整代码 #

# 直接遍历DataFrame的所有列名（比用索引遍历更直观易读）
for col_name in df.columns:
    # 先过滤非数值类型的列，避免字符串/日期等列绘制时报错
    col_type = df.schema[col_name].dataType.simpleString()
    if col_type in ['int', 'bigint', 'float', 'double', 'decimal']:
        # 复用你已经验证过的直方图数据获取逻辑
        bins, counts = df.select(col_name).rdd.flatMap(lambda x: x).histogram(20)
        
        # 为每个列创建独立的画布，避免图表重叠
        plt.figure(figsize=(8, 4))
        plt.hist(bins[:-1], bins=bins, weights=counts)
        
        # 添加标题和轴标签，让图表更清晰易懂
        plt.title(f'Histogram of Column: {col_name}')
        plt.xlabel(col_name)
        plt.ylabel('Frequency')
        
        # 显示当前列的直方图
        plt.show()
    else:
        # 打印提示，告诉你哪些列因为类型问题被跳过了
        print(f"Skipping non-numeric column: {col_name} (type: {col_type})")

关键优化点说明 #

• 更简洁的循环方式：直接遍历df.columns拿到列名，比用range(0, len(df.columns))然后通过索引取列名要更直观，也不容易出错。
• 数值类型过滤：PySpark DataFrame里可能包含字符串、日期等非数值列，这些列没法绘制直方图，加个类型判断可以避免运行时报错，还能清晰看到哪些列被跳过了。
• 独立画布：每个列单独创建plt.figure()，保证每个直方图都是独立的窗口，不会出现多个图表重叠在同一个画布上的问题。
• 可读性增强：给每个图表添加标题和轴标签，一眼就能看出这是哪个列的统计结果。

内容的提问来源于stack exchange，提问作者ozzboy