如何解析charges.csv并将有效/无效条目分别存入不同DataFrame？

核心思路 #

先读取整个CSV文件到临时DataFrame，然后根据你定义的有效性规则筛选出有效和无效条目，分别存入两个DataFrame。关键是先明确什么是「无效条目」（比如缺失关键字段、数据格式错误、数值不符合业务规则等）。

具体实现步骤（基于Pandas） #

1. 导入依赖并读取原始数据

import pandas as pd

# 读取CSV文件，若有完全无法解析的行，可使用on_bad_lines参数处理
raw_data = pd.read_csv('charges.csv', on_bad_lines='warn')  # 警告并跳过坏行

2. 定义有效性规则
   根据你的业务需求制定规则，以下是常见场景示例：

• 关键字段（如customer_id）不能为空
• 数值字段（如amount）必须为正数
• 日期字段（如charge_date）格式有效
• 枚举字段（如status）必须属于指定范围

示例代码：

# 先验证日期格式，标记有效日期行
raw_data['valid_date'] = pd.to_datetime(raw_data['charge_date'], errors='coerce').notna()

# 组合所有有效性条件
valid_rules = (
    raw_data['customer_id'].notna()  # 客户ID非空
    & (raw_data['amount'] > 0)  # 金额为正
    & raw_data['valid_date']  # 日期格式有效
    & raw_data['status'].isin(['completed', 'pending'])  # 状态合法
)

3. 拆分有效/无效DataFrame

# 筛选有效条目，移除临时验证列
charges = raw_data[valid_rules].drop(columns=['valid_date'])

# 筛选无效条目，同样移除临时列
invalid = raw_data[~valid_rules].drop(columns=['valid_date'])

4. 可选：保存结果
   如果需要把结果导出到文件：

charges.to_csv('valid_charges.csv', index=False)
invalid.to_csv('invalid_charges.csv', index=False)

注意事项 #

• 有效性规则必须贴合你的实际业务场景，比如如果有其他字段需要验证，直接添加到valid_rules的条件组合中即可
• 若CSV文件编码特殊，可在read_csv中指定encoding参数（如encoding='utf-8'或encoding='gbk'）
• 对于复杂的验证逻辑（如正则匹配），可以用apply方法自定义函数实现，比如验证邮箱格式：

import re
def is_valid_email(email):
    if pd.isna(email):
        return False
    return re.match(r'^[\w\.-]+@[\w\.-]+\.\w+$', email) is not None

raw_data['valid_email'] = raw_data['customer_email'].apply(is_valid_email)

内容的提问来源于stack exchange，提问作者Sanket Kale