如何用Pandas排除含格式错误（如日期列异常字符）的数据行？

针对你遇到的日期列含@^等异常字符、需要过滤无效行的需求，下面提供两种实用的处理方案：

方法1：Python 脚本批量处理 #

适合需要灵活扩展逻辑的场景，能同时验证日期格式和其他列的数值有效性：

import datetime

def check_valid_line(line):
    # 拆分并去除各字段的空格
    fields = [field.strip() for field in line.strip().split(',')]
    # 先检查字段数量是否符合预期
    if len(fields) != 5:
        return False
    
    # 验证日期列格式是否为 YYYY/MM/DD HH:MM:SS
    date_field = fields[0]
    try:
        datetime.datetime.strptime(date_field, '%Y/%m/%d %H:%M:%S')
    except ValueError:
        return False
    
    # 验证其他列是否为有效数值
    for num_field in fields[1:]:
        try:
            float(num_field)
        except ValueError:
            return False
    return True

# 读取原始数据，写入清洗后的数据
with open('data.txt', 'r') as input_file, open('cleaned_data.txt', 'w') as output_file:
    for line in input_file:
        if check_valid_line(line):
            output_file.write(line)

把你的数据保存为data.txt，运行脚本后会生成cleaned_data.txt，只保留格式完全有效的行。

方法2：命令行 awk 快速处理 #

适合在终端快速处理文本文件，无需编写完整脚本：

awk -F ', ' '
# 第一列必须严格匹配日期格式，开头不能有异常字符
$1 ~ /^[0-9]{4}\/[0-9]{2}\/[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}$/ {
    valid = 1
    # 检查第2到第5列是否为小数格式
    for(i=2; i<=NF; i++) {
        if($i !~ /^[0-9]+\.[0-9]+$/) {
            valid = 0
            break
        }
    }
    if(valid) print $0
}' data.txt > cleaned_data.txt

如果其他列可能出现整数，把数值验证的正则改成/^[0-9]+(\.[0-9]+)?$/即可。

内容的提问来源于stack exchange，提问作者SEU