pandas数据框列用正则移除非数字字符时异常丢值如何排查？

问题根因 #

• 触发丢数的核心是pandas .str 访问器的固有规则：该访问器仅支持处理字符串类型的值，只要列中存在整数、浮点数、空值这类非字符串类型的条目，.str 会直接将这些值转换为NaN，根本不会进入后续的正则替换流程。你观察到的“600多个不含字母的条目被丢弃”，本质就是这些条目本身就是非字符串格式的纯数字，还没走到正则匹配环节，就被.str 访问器置成了空值，并非正则逻辑本身错删了内容。
• 你当前使用的正则规则r'[^\d.]+'本身逻辑没有问题：该规则的作用是匹配所有非数字、非小数点的连续文本片段并删除，不管是纯数字字符串、带kg/g/pack/packs后缀的文本，都能被正确处理为纯数值字符串，不存在对纯数字内容的误删逻辑。
• 额外的非核心影响因素：如果使用的是0.23版本之前的旧版pandas，str.replace 方法默认会把传入的参数当固定字符串匹配，不会识别为正则表达式，会出现替换失效的问题，但这个场景不会直接造成纯数字条目丢失，和当前的异常表现不匹配。

修正操作步骤 #

• 先做问题验证：运行df['boxes'].apply(type).value_counts()，统计原始列的类型分布，就能看到列中到底有多少非字符串类型的条目，和你观察到的丢数规模做对应核验。
• 调整替换逻辑，先统一数据类型再执行匹配，核心代码：

# 全列强制转换为字符串类型，避免非字符串值被.str访问器自动置空
df['boxes'] = df['boxes'].astype(str).str.replace(r'[^\d.]+', '', regex=True)
# 替换完成后转回数值类型，兼容处理过程中产生的空值
df['boxes'] = pd.to_numeric(df['boxes'], errors='coerce')

• 操作注意要点：
  • 不要省略astype(str)步骤：哪怕看起来列里全是文本格式的内容，也可能存在数据读取阶段被自动识别为数值的纯数字条目，缺了这步就会出现无意义的数据丢失。
  • 替换完成后必须通过pd.to_numeric转回数值类型，否则后续的数值运算会因为列类型为字符串触发类型错误。

内容的提问来源于stack exchange，提问作者Suv Python