如何用Pandas移除DataFrame中违反列数据类型的行？

这问题我之前也碰到过，用Pandas处理的话可以写个通用的校验逻辑，不管是数值、布尔还是字符串类型都能覆盖，给你一步步说怎么弄：

1. 核心思路 #

我们需要逐个检查每一行的每个列值是否符合指定的数据类型，只保留所有列都符合要求的行。为了适配不同的数据类型（数值、布尔、字符串），最好写一个通用的校验函数来处理不同情况。

2. 完整代码实现 #

首先先创建你给出的示例数据，然后实现校验逻辑：

import pandas as pd

# ---------------------- 第一步：创建示例数据 ----------------------
data = {
    "ts": [1555338562, 1555338563, 1555338564, 1555338565, 1555338566, 1555338567],
    "a": [9.01, 9.01, 9.01, 9.01, 9.01, "test"],
    "b": [True, 1.022, 1.022, 1.022, 1.022, 1.022],
    "c": [1648.37, 1648.37, "AVC", 1648.37, 1648.33, 1648.33],
    "d": [1.01, 1.01, 1.01, 1.01, 1.01, 1.01]
}

df = pd.DataFrame(data)

# 定义各列的目标数据类型
data_types = { "ts": "int64", "a": "float64", "b": "float64", "c": "float64", "d": "float64" }

# ---------------------- 第二步：编写通用校验函数 ----------------------
def is_valid_dtype(value, target_dtype):
    """检查单个值是否可以转换为目标数据类型"""
    try:
        # 处理布尔类型：支持原生布尔值和大小写不敏感的字符串形式（比如"True"/"false"）
        if target_dtype == "bool":
            if isinstance(value, str):
                normalized_val = value.strip().lower()
                return normalized_val in ["true", "false"]
            return isinstance(value, bool)
        
        # 处理字符串类型：这里默认非空值都有效，你可以根据需求调整（比如允许空值就去掉pd.notna）
        elif target_dtype in ["str", "object"]:
            return pd.notna(value)
        
        # 处理数值类型：尝试转换，失败则返回False
        else:
            # downcast参数用于匹配目标类型的大类（比如int64对应int，float64对应float）
            pd.to_numeric(value, downcast=target_dtype.split("_")[0])
            return True
    
    # 转换失败时返回False
    except (ValueError, TypeError):
        return False

# ---------------------- 第三步：生成掩码并筛选有效行 ----------------------
# 为每个列生成布尔掩码：True表示该行该列符合类型要求
column_masks = []
for col, dtype in data_types.items():
    col_mask = df[col].apply(lambda x: is_valid_dtype(x, dtype))
    column_masks.append(col_mask)

# 只有当所有列都符合要求时，该行才保留（all(axis=1)表示每行所有列都为True）
final_valid_mask = pd.concat(column_masks, axis=1).all(axis=1)

# 筛选有效行并重置索引
cleaned_df = df[final_valid_mask].reset_index(drop=True)

print("清理后的DataFrame：")
print(cleaned_df)

运行这段代码后，就能得到你预期的结果：

ts     a      b        c     d
0  1555338563  9.01  1.022  1648.37  1.01
1  1555338565  9.01  1.022  1648.37  1.01
2  1555338566  9.01  1.022  1648.33  1.01

3. 适配包含布尔/字符串列的场景 #

针对你补充的包含布尔列e和字符串列f的情况，只需要更新数据类型定义，复用上面的函数即可：

# 补充示例数据
data2 = {
    "ts": [1555338562, 1555338563, 1555338564, 1555338565, 1555338566, 1555338567],
    "a": [9.01, 9.01, 9.01, 9.01, 9.01, "test"],
    "b": [True, 1.022, 1.022, 1.022, 1.022, 1.022],
    "c": [1648.37, 1648.37, "AVC", 1648.37, 1648.33, 1648.33],
    "d": [1.01, 1.01, 1.01, 1.01, 1.01, 1.01],
    "e": [True, True, True, True, True, False],
    "f": ["Test_1", "Test_2", "Test_2", "Test_2", "Test_2", "Test_2"]
}

df2 = pd.DataFrame(data2)

# 更新数据类型定义
data_types2 = { 
    "ts": "int64", 
    "a": "float64", 
    "b": "float64", 
    "c": "float64", 
    "d": "float64",
    "e": "bool",
    "f": "str"
}

# 复用校验逻辑
column_masks2 = []
for col, dtype in data_types2.items():
    col_mask = df2[col].apply(lambda x: is_valid_dtype(x, dtype))
    column_masks2.append(col_mask)

final_valid_mask2 = pd.concat(column_masks2, axis=1).all(axis=1)
cleaned_df2 = df2[final_valid_mask2].reset_index(drop=True)

print("包含布尔/字符串列的清理结果：")
print(cleaned_df2)

4. 快速方法（仅适用于全数值列场景） #

如果你的DataFrame只有数值类型的列，也可以用更简洁的方式：利用pd.to_numeric的errors='coerce'参数，把转换失败的值变成NaN，然后删除包含NaN的行：

cleaned_df_numeric = df.copy()
for col, dtype in data_types.items():
    cleaned_df_numeric[col] = pd.to_numeric(df[col], errors='coerce')

# 删除所有包含NaN的行，并转换为目标类型
cleaned_df_numeric = cleaned_df_numeric.dropna().astype(data_types).reset_index(drop=True)

不过这种方法只适合纯数值列的情况，有布尔或字符串列时还是用前面的通用方法更可靠。

内容的提问来源于stack exchange，提问作者Divakar Patil