如何用Pandas处理Unicode负号与CSV数据类型转换问题

问题背景 #

使用Python 3.8.10 + Pandas 1.4.4处理CSV文件：

• 分隔符为分号;
• 小数标记为逗号,
• 每行末尾含多余分号

读取数据代码：

df = pd.read_csv("filename.csv", sep=';', decimal=',', usecols=[0,1,2,3,4])

执行print(df.dtypes)后发现，time、p列为float64类型，但ax、ay、az列为object类型，经排查是数据使用了Unicode负号（U+2212）导致。

疑问解答 #

1. 为何Pandas无法识别该Unicode负号？ #

Pandas的read_csv默认仅识别ASCII负号（-，U+002D），没有内置处理Unicode负号（−，U+2212）的逻辑。当列中出现U+2212时，Pandas会将对应单元格判定为字符串，最终导致整列类型变为object而非数值型。

2. 转换报错的原因是否为逗号？如何用Pandas内置方法解决？ #

报错ValueError: could not convert string to float: '0,0000'的直接原因是Python原生float()函数只支持小数点.作为小数分隔符，但更深层原因是列中同时存在Unicode负号和逗号小数标记，Pandas的astype(float)、pd.to_numeric无法同时兼容这两个非标准格式。

用Pandas内置方法解决的步骤：

# 先替换Unicode负号为ASCII负号
df['ax'] = df['ax'].str.replace(u"\u2212", "-")
# 再指定小数分隔符为逗号，转换为数值型
df['ax'] = pd.to_numeric(df['ax'], errors='raise', decimal=',')

3. 为何自定义替换函数无效，但逐列手动替换可行？ #

你的自定义函数存在两个核心问题：

• 局部变量赋值无效：函数内的df = a仅修改了函数内部的局部变量，并未对原DataFrame的列产生影响。
• 循环逻辑未同步回原列：遍历列时，i = i.replace(...)只是修改了临时变量，没有将处理后的值写回原DataFrame。

而手动替换时，你将处理后的值存入列表a，再直接赋值给df["ax"]，这直接修改了原DataFrame的列，因此生效。

4. 有没有更简洁的方式来简化替换与类型转换流程？ #

推荐两种简洁方案：

方案1：读取阶段直接处理

利用read_csv的converters参数，在读取时完成替换和转换：

def convert_col(s):
    return float(s.replace(u"\u2212", "-").replace(',', '.'))

df = pd.read_csv(
    "filename.csv",
    sep=';',
    usecols=[0,1,2,3,4],
    converters={'ax': convert_col, 'ay': convert_col, 'az': convert_col}
)

方案2：批量处理多列

用apply结合匿名函数批量处理目标列：

cols_to_convert = ['ax', 'ay', 'az']
df[cols_to_convert] = df[cols_to_convert].apply(
    lambda x: pd.to_numeric(x.str.replace(u"\u2212", "-"), decimal=',')
)

优化后的完整代码 #

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

name = 'accelerometer_log.csv'

df = pd.read_csv(name, sep=';', usecols=[0,1,2,3,4])

# 批量处理ax、ay、az列
cols_to_convert = ['ax', 'ay', 'az']
df[cols_to_convert] = df[cols_to_convert].apply(
    lambda x: pd.to_numeric(x.str.replace(u"\u2212", "-"), decimal=',')
)

df.plot(x="time", y="ax")
plt.show()

内容的提问来源于stack exchange，提问作者Topi Löytäinen