DataFrame的price列含空字符，无法转换为float64且无法删除

问题分析 #

你遇到的ValueError: could not convert string to float: ''，并不是因为列里有普通空字符串，而是存在不可见的控制字符、零宽字符或Unicode空白字符——这些字符肉眼不可见，但会阻断类型转换。另外你用df.price.apply(lambda x: x.replace('','x'))得到的结果是正常现象：Python中replace('', 'x')会在每个字符的前后（包括字符串首尾）插入x，这个操作根本不能用来检测隐藏空字符。

解决方案 #

以下几种方法可以清理数据并保留有效数值，成功转换为float64类型：

方法1：提取有效数值部分

通过正则表达式直接提取字符串中的数字和小数点，保留核心数值：

import pandas as pd

df['price'] = df['price'].str.extract(r'(\d+\.?\d*)')[0].astype('float64')

方法2：过滤非数值字符

直接移除字符串中所有不是数字和小数点的字符，再转换类型：

df['price'] = df['price'].str.replace(r'[^\d.]', '', regex=True).astype('float64')

方法3：清理Unicode空白并处理空值

如果问题是Unicode空白字符导致的，先标准化字符串并移除所有空白，再处理空值：

import pandas as pd
import unicodedata

# 标准化字符串并移除所有空白，将空字符串转为pd.NA
df['price'] = df['price'].apply(lambda x: unicodedata.normalize("NFKD", x).strip())
df['price'] = df['price'].replace('', pd.NA).astype('float64')

可选：排查异常值

如果想先定位问题行，可以查看字符串的原始表示（能显示不可见字符）：

df['price_raw'] = df['price'].apply(repr)
# 输出包含控制字符的异常行
print(df[df['price_raw'].str.contains(r'[\x00-\x1F\x7F-\x9F]')])

内容的提问来源于stack exchange，提问作者oscarmarinoa