如何解决pandas处理未知字段CSV时出现UnicodeEncodeError: surrogates not allowed问题
问题根因
你给df.to_csv加errors='surrogatepass'未生效的核心原因是:当输出目标为sys.stdout这类默认处于文本模式的流对象时,pandas的encoding、errors参数会被直接忽略,编码规则由流对象自身的环境配置决定,因此你新增的参数没有起到作用。
解决方法
方案1:遍历所有字符串列统一做编码兼容处理
无需硬编码指定字段名,直接筛选所有字符串类型的列批量处理即可,在df.drop语句之后、to_csv语句之前添加如下代码:
# 筛选所有字符串类型的列统一处理代理字符 for col in df.select_dtypes(include=['object', 'string']).columns: df[col] = df[col].str.encode('utf-8', errors='surrogatepass').str.decode('utf-8')
先编码再解码的逻辑会把不合法的代理字符按surrogatepass规则转为合法UTF-8序列,后续输出时就不会触发编码报错。
方案2:输出到stdout二进制流,让pandas编码参数生效
无需修改字段处理逻辑,直接将原来的to_csv输出目标改为sys.stdout.buffer即可,修改后的代码如下:
df.to_csv(sys.stdout.buffer, encoding='utf-8', errors='surrogatepass', index = None)
该方案直接绕开了sys.stdout文本模式的默认编码限制,pandas传入的编码、容错参数会正常生效,实现成本更低。
内容的提问来源于stack exchange,提问作者hang
相关产品推荐
相关产品推荐

