NLP数据预处理后Pandas无法识别空单元格，如何处理并删除空行？

这问题我之前帮人排查过好几次，核心是你看到的“空白”不一定是真正的空字符串''——大概率是不可见的空白字符（比如空格、制表符、换行符）或者非ASCII的控制字符，所以直接用replace('', np.nan)根本匹配不上这些“假空白”。

下面给你一套完整的排查+解决步骤：

1. 先搞清楚“空白”到底是什么字符 #

先打印出列中每个值的真实字符串表示，这样能把隐藏的字符暴露出来：

import pandas as pd
import numpy as np

# 查看目标列每个值的真实形态，比如空格会显示为'   '，零宽空格会显示为'\u200b'
print(df['columnName'].apply(repr))

运行后你会看到类似' '（多个空格）、'\t'（制表符）或者'\u200b'（零宽空格）这类你之前看不到的字符。

2. 批量清理“假空白”并转为NaN #

根据排查结果，用正则表达式匹配所有空白/控制字符，统一转为NaN：

# 第一步：替换所有空白字符（空格、制表符、换行等）组成的“空内容”为NaN
df['columnName'] = df['columnName'].replace(r'^\s*$', np.nan, regex=True)

# 如果还有非ASCII的控制字符（比如零宽空格、不可见的非打印字符），先清除再转NaN
df['columnName'] = df['columnName'].replace(r'[\x00-\x1f\x7f-\x9f]', '', regex=True)
df['columnName'] = df['columnName'].replace(r'^\s*$', np.nan, regex=True)

这里的正则^\s*$匹配的是全由空白字符组成的内容，包括完全空的字符串；第二个正则是清除ASCII和扩展ASCII中的控制字符。

3. 删除空行 #

现在所有“假空白”都被转为了NaN，直接用dropna删除对应行：

# 只删除目标列为NaN的行，其他列的NaN不受影响
df = df.dropna(subset=['columnName'])

额外建议：检查你的URL移除逻辑 #

如果清理后还是有问题，可能是你移除URL的正则不够全面，导致留下了奇怪的残留字符。可以试试用更鲁棒的URL匹配正则：

# 匹配http/https开头的URL，以及www开头的URL，替换为空
df['columnName'] = df['columnName'].replace(r'https?://\S+|www\.\S+', '', regex=True)

内容的提问来源于stack exchange，提问作者user11035754