如何批量处理Pandas DataFrame中的所有不可显示字符？

嘿，这个编码乱码问题确实挺头疼的，尤其是列数多的时候手动指定列处理太折腾人。先给你理清楚问题根源：你看到的doesn’t其实是UTF-8编码的doesn’t被错误用Windows-1252（或ISO-8859-1）解码导致的——之前用的str.encode('ascii', errors='ignore')虽然能去掉乱码，但会把有用的特殊字符（比如正确的撇号）也删掉，不如直接修复编码更靠谱。

下面给你两个批量处理整个DataFrame的简便方法，完全不用逐列指定：

方法1：全量处理所有元素（适配所有列类型） #

写一个通用的修复函数，自动识别字符串类型元素进行编码修复，非字符串元素直接保留原样：

def fix_encoding(s):
    if isinstance(s, str):
        # 把错误解码的字符串转回到正确的UTF-8编码
        return s.encode('latin1').decode('utf-8')
    else:
        # 非字符串类型（数字、日期等）直接返回
        return s

# 应用到整个DataFrame
df_fixed = df.applymap(fix_encoding)

这个方法会遍历DataFrame的每一个元素，只处理字符串内容，其他类型完全不受影响，完美适配你的103列场景。

方法2：仅处理字符串列（更高效） #

如果你的DataFrame里有大量数值、日期这类非字符串列，可以先筛选出object类型的列（Pandas里字符串列一般是这个类型），只对这些列批量处理，速度会更快：

# 筛选出所有字符串类型的列名
string_columns = df.select_dtypes(include=['object']).columns

# 对这些列批量应用编码修复
df[string_columns] = df[string_columns].apply(lambda col: col.str.encode('latin1').decode('utf-8'))

额外小建议：从源头避免问题 #

如果下次再读取这个Excel文件，可以先检查文件的保存编码；如果是CSV格式的文件，读取时直接指定正确编码就能避免乱码：

# 示例：UTF-8编码的CSV文件
df = pd.read_csv('your_file.csv', encoding='utf-8')
# 如果还是有问题，试试utf-8-sig或latin1
df = pd.read_csv('your_file.csv', encoding='utf-8-sig')

内容的提问来源于stack exchange，提问作者Justin