如何解决Pickle保存Pandas DataFrame后显示冗余空格与逗号问题

问题根源 #

你把DataFrame列表转为字符串后存入Pickle的操作是核心错误——Pickle的作用是直接序列化Python对象，转成字符串会导致加载后得到的是字符串而非DataFrame，终端和界面显示的冗余空格、逗号就是字符串的格式符号。

修正方案 #

1. 重构Save函数：直接序列化DataFrame对象 #

不要将DataFrame转成字符串，直接对DataFrame（或合并后的DataFrame）进行Pickle序列化。保存逻辑调整为：

• 若文件不存在/大小为0：直接保存完整DataFrame（包含列名）
• 若文件已存在：加载原有DataFrame，追加新数据后重新保存

示例代码：

import pandas as pd
import os
import pickle

def save_data(df, file_path):
    # 检查文件是否存在且非空
    if os.path.exists(file_path) and os.path.getsize(file_path) > 0:
        # 加载原有数据
        with open(file_path, 'rb') as f:
            existing_df = pickle.load(f)
        # 追加数据（确保列名完全匹配，包括空格）
        combined_df = pd.concat([existing_df, df], ignore_index=True)
    else:
        combined_df = df
    
    # 保存合并后的DataFrame
    with open(file_path, 'wb') as f:
        pickle.dump(combined_df, f)

2. 修正Load函数：直接加载DataFrame对象 #

加载时直接读取Pickle中的DataFrame，无需处理字符串：

def load_data(file_path):
    if not os.path.exists(file_path) or os.path.getsize(file_path) == 0:
        return pd.DataFrame()  # 返回空DataFrame
    with open(file_path, 'rb') as f:
        return pickle.load(f)

3. 验证列名一致性 #

确保每次追加的DataFrame列名和初始DataFrame完全一致（包括空格），避免合并时出现列不匹配导致的异常。

效果验证 #

调用修正后的函数后，加载得到的是标准的DataFrame对象，终端打印或Tkinter界面展示时会以正常表格形式呈现，不会出现冗余的空格和逗号。

内容的提问来源于stack exchange，提问作者boomshot 2145