Python 2.7处理CSV英镑符号时的编码报错与实现方案
问题成因梳理
- 源码编码声明位置无效:Python要求coding格式的编码声明必须放置在文件前两行(第一行或第二行),原代码把声明放在多个import语句之后,Python解析时根本无法识别,因此碰到源码中直接书写的
£非ASCII字符时,直接抛出Non-ASCII character语法错误 - 字符串类型不匹配:通过unicodecsv读取得到的单元格值均为Python2原生的unicode类型(即带
u前缀的字符串),原代码用字节型的'\xc2'转义值和unicode对象做等值比较,自然触发UnicodeWarning类型不匹配的警告 - 原函数逻辑偏差:原列表推导的判断逻辑是仅保留匹配到的£字符,和“移除£符号”的需求完全相反;悬空的for循环没有实际作用,对
text执行encode('utf-8')后的返回值没有被接收复用,等于无效操作
可直接运行的实现方案
结合读取到的unicode类型数据特征,不需要依赖源码中直接书写£字符,通过unicode转义匹配即可完全绕开编码声明位置带来的语法问题,代码如下:
def remove_pound_symbol(text): # 兼容输入为字节str类型的场景,先统一转成unicode if isinstance(text, str): text = text.decode('utf-8') # 同时匹配两种英镑符号表示形式:unicode转义值、解码后的直接字符 return text.replace(u'\xa3', u'').replace(u'£', u'')
如果需要批量清洗整行的CSV数据,可直接遍历调用:
# 替换为实际读取到的行数据 row_data = [u'06/11/2020', u'ABC', u'32154E', u'3214', u'DEF', u'Cash Purchase', u'Final', u'', u'20.00%', u'ABC', u'Sold From Pickup', u'New ', u'10.00%', u'0', u'15%', u'\xa3469.84', u'Jonathan Jerome', u'3', u'\xa3140.95', u'2%', u'\xa393.97', u'\xa39,396.83', u'', u'\xa35,638.00', u'30/06/2020', u'4', u'Boiler-Amended'] cleaned_row = [remove_pound_symbol(cell) for cell in row_data]
清洗后原带英镑符号的字段会自动转为u'469.84'、u'140.95'这类纯数值格式,完全符合需求。
实操注意事项
- Python2中执行
str.encode()方法的作用是把unicode对象转换为字节类型的str,必须接收方法返回的结果才能继续处理,直接在原变量上调用而不接返回值没有任何效果 - UTF-8编码下英镑符号的完整字节序列是
\xc2\xa3,单匹配\xc2只是半个多字节字符,本身逻辑就存在遗漏 - 如果需要在源码中直接写非ASCII字符,编码声明必须放在文件最开头,放置在其他语句之后的声明Python会直接忽略
内容的提问来源于stack exchange,提问作者JIH
相关产品推荐
相关产品推荐

