Pandas DataFrame空行无法删除问题求助及代码纠错

问题场景 #

读取指定CSV文件，设置Date列为索引后，调用dropna(axis=0, how="all")试图删除全空行，但空行仍未被移除。原代码如下：

import pandas as pd

df = pd.read_csv(r'C:\Users\xxx\Desktop\AllStock.csv')
df.set_index('Date', inplace = True)
df.dropna(axis=0, how ="all", inplace = True)
df

核心原因 #

1. 空值未被识别为NaN：CSV中的空行可能填充的是空字符串''或空格' '，而非pandas默认识别的NaN值。dropna(how='all')仅会删除所有列值为NaN的行，无法识别这类非标准空值。
2. 索引列干扰判定：若Date列（已设为索引）在空行中存在非空值（比如无效占位符），即使其他数据列全空，dropna(how='all')也不会删除该行——因为该方法默认仅检查非索引的数据列。

解决方案 #

方案1：读取时统一转换空值为NaN #

在read_csv中通过na_values参数，将空字符串、空格等统一识别为NaN，再执行删除操作：

import pandas as pd

# 读取时将空字符串、空格转换为NaN
df = pd.read_csv(r'C:\Users\xxx\Desktop\AllStock.csv', na_values=['', ' '])
df.set_index('Date', inplace=True)
# 删除所有数据列全为NaN的行
df.dropna(axis=0, how="all", inplace=True)
df

方案2：事后转换数据列空值 #

若已完成读取，可先将数据列中的空字符串/空格替换为NaN，再删除：

import pandas as pd

df = pd.read_csv(r'C:\Users\xxx\Desktop\AllStock.csv')
# 将数据列的空字符串、空格替换为NaN
df.replace(['', ' '], pd.NA, inplace=True)
df.set_index('Date', inplace=True)
df.dropna(axis=0, how="all", inplace=True)
df

补充：若需删除索引列也为空的行 #

如果要删除Date索引列也为空的行，需先重置索引，处理后再重新设置：

import pandas as pd

df = pd.read_csv(r'C:\Users\xxx\Desktop\AllStock.csv', na_values=['', ' '])
# 先重置索引，将Date转为普通列
df.reset_index(drop=True, inplace=True)
# 删除所有列（包括Date）全为NaN的行
df.dropna(axis=0, how="all", inplace=True)
# 重新设置Date为索引
df.set_index('Date', inplace=True)
df

内容的提问来源于stack exchange，提问作者LittleCat1332