PySpark读取MongoDB数据后可视化报错，求解决方案

核心问题排查与修复步骤 #

1. 补全Matplotlib导入语句 #

你的可视化代码未包含Matplotlib的基础导入，这是直接导致报错的基础问题，先补上：

import matplotlib.pyplot as plt

2. 正确完成PySpark DataFrame到Pandas DataFrame的转换 #

PySpark转Pandas时需注意内存限制、数据类型兼容性，建议按以下步骤处理：

# 先筛选出可用于绘图的数值型列（根据你的schema调整类型判断逻辑）
numeric_cols = [col for col in pydf_haidata.columns if pydf_haidata.schema[col].dataType.simpleString() in ['int', 'bigint', 'float', 'double']]
filtered_spark_df = pydf_haidata.select(numeric_cols)

# 数据量过大时先采样，避免内存溢出；数据量小可直接转换
pdf_haidata = filtered_spark_df.sample(fraction=0.2).toPandas().reset_index(drop=True)
# 数据量小的情况：pdf_haidata = filtered_spark_df.toPandas().reset_index(drop=True)

3. 修正循环绘图的索引越界问题 #

直接使用i+8容易因总列数不足触发索引错误，建议按批次动态处理列：

total_cols = len(pdf_haidata.columns)
# 按每8列一组分批次绘图
for batch_start in range(0, total_cols, 8):
    current_cols = pdf_haidata.columns[batch_start:batch_start+8]
    fig, axes = plt.subplots(nrows=4, ncols=2, dpi=80, figsize=(11,8))
    
    for idx, (col, ax) in enumerate(zip(current_cols, axes.flatten())):
        if idx >= len(current_cols):
            ax.axis('off')  # 隐藏多余的空白子图
            continue
        data = pdf_haidata[col]
        ax.plot(data, color='red', linewidth=1)
        ax.set_title(col, fontsize=8)
        ax.xaxis.set_ticks_position('none')
        ax.yaxis.set_ticks_position('none')
        ax.spines["top"].set_alpha(0)
        ax.tick_params(labelsize=7)
    
    plt.tight_layout()
    plt.show()

4. 清理数据中的空值与异常值 #

空值或非数值型数据会导致Matplotlib绘图失败，提前处理：

# 移除含空值的行
pdf_haidata = pdf_haidata.dropna()
# 或填充空值（根据业务场景选择填充值）
# pdf_haidata = pdf_haidata.fillna(0)

5. 验证并修正列数据类型 #

确保待绘图列是数值型，若存在object类型尝试转换：

print(pdf_haidata.dtypes)
# 针对object类型列尝试转换，转换失败的会设为NaN
for col in pdf_haidata.columns:
    if pdf_haidata[col].dtype == 'object':
        pdf_haidata[col] = pd.to_numeric(pdf_haidata[col], errors='coerce')

内容的提问来源于stack exchange，提问作者allamiro