使用Python 3删除DataFrame中指定多列均为空值的行

嘿，我来帮你搞定这个71k行数据集的过滤需求！你需要删除a、b、c、d四列全为空的行，而且指定要用循环来实现，那咱们可以这么操作：

首先，假设你用的是Python的pandas来处理数据（这是处理这类任务最常用的工具），下面是具体的代码实现：

import pandas as pd

# 读取你的数据集，这里以CSV为例，你可以根据实际格式调整（比如Excel用read_excel）
df = pd.read_csv("your_raw_data.csv")

# 初始化一个列表，用来存储需要保留的行数据
keep_rows = []

# 用itertuples遍历行，比iterrows效率更高，适合大型数据集
for row in df.itertuples(index=False):
    # 判断逻辑：只要a、b、c、d不全为空，就保留该行
    # 这里用and来同时判断四列是否为空，取反后就是需要保留的条件
    if not (pd.isna(row.a) and pd.isna(row.b) and pd.isna(row.c) and pd.isna(row.d)):
        keep_rows.append(row)

# 将保留的行转换回DataFrame，保持原列名
filtered_df = pd.DataFrame(keep_rows, columns=df.columns)

# 保存过滤后的结果，按需调整保存格式和路径
filtered_df.to_csv("filtered_data.csv", index=False)

小说明： #

• 用itertuples()而不是iterrows()是因为前者返回的是轻量的元组，遍历速度更快，对于71k行的数据集来说能节省不少时间；
• 判断条件里的not (...)是为了简化逻辑：我们要保留的是不满足四列全空的行，所以对“四列全空”的条件取反即可；
• 如果你的数据集不是CSV格式，把read_csv和to_csv换成对应的read_excel/to_excel等方法就行。

另外提一句，其实pandas的向量化操作（不用循环）效率会更高，比如下面这行代码就能实现同样的效果：

filtered_df = df[~(df['a'].isna() & df['b'].isna() & df['c'].isna() & df['d'].isna())]

不过既然你提到索引方式效果不佳，那上面的循环方案应该更符合你的需求啦。

内容的提问来源于stack exchange，提问作者Rio