读取分隔数据遇错误行即停止并返回已导入数据的方法

现有工具的局限性 #

• np.loadtxt：无内置“遇错即停”机制，报错时不会返回已读取的部分数据。
• np.genfromtxt：invalid_raise=False会跳过错误行，但会继续读取后续内容，无法中途停止并返回已读数据。
• pd.read_csv：on_bad_lines设为skip/warn会忽略错误行继续读取；设为error则直接抛出异常，此时已读数据不会被保留。

可行解决方案 #

方案1：分块读取+异常捕获（适合大型文件） #

利用pandas分块读取能力，每次读取一小段数据，捕获错误后立即停止并返回已累加的内容，兼顾效率和需求：

import pandas as pd

chunk_size = 10000  # 根据内存情况调整块大小
data_chunks = []
file_path = "your_large_file.txt"

try:
    for chunk in pd.read_csv(file_path, chunksize=chunk_size, sep="your_separator", on_bad_lines="error"):
        data_chunks.append(chunk)
    # 无错误时合并全部数据
    full_data = pd.concat(data_chunks, ignore_index=True)
except Exception as e:
    # 遇错时返回已读取的部分
    partial_data = pd.concat(data_chunks, ignore_index=True)
    print(f"读取中断，错误信息：{e}")
    print(f"已成功读取 {len(partial_data)} 行数据")

方案2：逐行读取校验（适合精准定位错误） #

如果需要精确控制每一行的校验逻辑，逐行处理更灵活，适合格式不规则的文件：

import numpy as np

file_path = "your_large_file.txt"
separator = ","
data_rows = []

with open(file_path, "r") as f:
    for line_idx, line in enumerate(f, start=1):
        line = line.strip()
        if not line:
            continue
        try:
            # 根据实际数据类型调整转换方式（如int、str）
            row = np.array(line.split(separator), dtype=np.float64)
            data_rows.append(row)
        except Exception as e:
            print(f"第 {line_idx} 行格式错误：{e}")
            break

# 转换为numpy数组或DataFrame
if data_rows:
    result = np.vstack(data_rows)
    # 或转成DataFrame：result = pd.DataFrame(data_rows)
    print(f"已读取有效数据 {len(result)} 行")

总结 #

numpy和pandas的内置函数没有直接实现“遇错即停并返回已读数据”的选项，需要通过以下方式实现：

• 大型文件优先选分块读取+异常捕获，平衡效率和功能；
• 需精准定位错误行时，用逐行读取校验更灵活。

内容的提问来源于stack exchange，提问作者SpinOrbiter