Python：DataFrame替换版权符号无效，是否需调整CSV读取方式？

先简化版权符号定义 #

你写的符号编码可以直接简化，没必要先encode再decode，直接这么写就行：

symbol = '\N{COPYRIGHT SIGN}'  # 也可以直接写 '\u00A9'，效果完全一样

替换无效的常见解决思路 #

1. 修正replace的参数用法 #

replace默认会返回一个新的DataFrame，不会改动原数据；而且如果要批量替换所有列里的符号，加上regex=True更稳妥。试试这么写：

# 直接修改原DataFrame，替换所有出现的版权符号
df_one.replace(symbol, '', regex=True, inplace=True)
print(df_one)

2. 读取CSV时指定编码（关键） #

你当前的读取代码没指定编码，不同CSV文件可能用了utf-8、gbk或者带BOM的utf-8-sig，编码不匹配会导致版权符号被读成乱码或者无法识别。建议读取时加编码判断：

import pandas as pd
import glob

def read_csv_file(file):
    try:
        return pd.read_csv(file, encoding='utf-8')
    except UnicodeDecodeError:
        # 编码不对就换gbk试试，大部分中文CSV用这两种编码
        return pd.read_csv(file, encoding='gbk')

df_one = pd.concat(map(read_csv_file, glob.glob('data/*.csv')))

3. 确认DataFrame里的符号是不是你要找的那个 #

有时候可能存在全角版的版权符号，或者符号被转义成了其他形式。可以先打印出目标字符的编码，确认是不是\u00A9：

# 假设你要处理的列叫content，先找一行包含符号的样本
sample = df_one[df_one['content'].str.contains(symbol, na=False)]['content'].iloc[0]
# 把每个字符转成十六进制编码，看版权符号对应的是不是0xa9
print([hex(ord(c)) for c in sample])

如果输出里的符号编码不是0xa9，就用对应的编码值来定义symbol。

总结 #

不需要彻底改读取方式，但必须指定正确的编码才能保证符号被正确识别。再配合修正replace的参数，基本就能解决问题。

内容的提问来源于stack exchange，提问作者savi