如何原地删除大CSV文件指定行以导入PostgreSQL

方案一：原地删除指定行的Python代码 #

之前的TypeError是因为混用了文本模式与二进制模式操作。处理102GB级别的超大文件，必须用二进制模式分块处理，不能一次性加载到内存。以下是适配CSV的修改版代码：

import os

def remove_specific_line(file_path, target_line):
    # 以二进制读写模式打开文件
    with open(file_path, 'rb+') as f:
        current_line = 1
        read_pos = 0
        # 定位到目标行的起始位置
        while current_line < target_line:
            line = f.readline()
            if not line:
                print("目标行超出文件总行数")
                return
            read_pos += len(line)
            current_line += 1
        
        # 记录目标行起始位置，读取目标行获取长度
        target_start = read_pos
        target_line_content = f.readline()
        target_length = len(target_line_content)
        if not target_line_content:
            print("目标行不存在")
            return
        
        # 用目标行之后的内容向前覆盖，实现删除效果
        buffer_size = 1024 * 1024  # 1MB缓冲区，可根据内存调整大小
        while True:
            f.seek(target_start + target_length)
            buffer = f.read(buffer_size)
            if not buffer:
                break
            f.seek(target_start)
            f.write(buffer)
            target_start += len(buffer)
        
        # 截断文件末尾多余的内容
        f.truncate(target_start)

# 调用示例，替换为你的文件路径和目标行号
remove_specific_line("your_large_file.csv", 47867184)

说明：

• 采用rb+模式实现二进制读写与指针自由移动，避免文本模式的编码问题
• 逐行定位目标行，通过内容覆盖+文件截断实现“原地删除”，全程不生成临时文件
• 缓冲区大小可根据可用内存调整，越大处理速度越快

方案二：直接修复坏行（更推荐） #

你的错误本质是该行存在未被引号包裹的回车符，不一定需要删除整行。以下是更高效的修复方案：

用sed工具原地修复（Linux/macOS） #

sed支持大文件原地修改，效率优于Python。先确认坏行内容，再针对性修复：

# 查看目标行内容
sed -n '47867184p' your_large_file.csv

# 原地替换该行内的未引号包裹回车（示例：替换为空格，可根据实际调整）
sed -i '47867184s/\r/ /g' your_large_file.csv

Python修复指定行的回车问题 #

如果需要用Python处理，同样以二进制模式定位修改：

import os

def fix_unquoted_crlf(file_path, target_line):
    with open(file_path, 'rb+') as f:
        current_line = 1
        read_pos = 0
        # 定位目标行起始位置
        while current_line < target_line:
            line = f.readline()
            if not line:
                print("目标行不存在")
                return
            read_pos += len(line)
            current_line += 1
        
        # 读取并修复目标行
        f.seek(read_pos)
        target_line_content = f.readline()
        if not target_line_content:
            print("目标行不存在")
            return
        
        # 替换未引号包裹的回车为空格，若需给字段加引号可自行修改逻辑
        fixed_line = target_line_content.replace(b'\r', b' ')
        
        # 覆盖写入修复后的行
        f.seek(read_pos)
        f.write(fixed_line)

# 调用示例
fix_unquoted_crlf("your_large_file.csv", 47867184)

方案三：PostgreSQL导入时跳过坏行（实际支持） #

你提到的PostgreSQL不支持跳过坏行是误解，PostgreSQL 12+版本支持LOG ERRORS参数，可将坏行写入日志表，正常行继续导入：

-- 先创建错误日志表
CREATE TABLE error_log_table (
    line_number bigint,
    message text,
    raw_data text
);

-- 导入时记录错误行
COPY your_target_table 
FROM '/path/to/your_large_file.csv' 
WITH (FORMAT csv, LOG ERRORS INTO error_log_table);

注意：此方法使用服务器端COPY命令，需确保PostgreSQL服务有权限访问CSV文件。

内容的提问来源于stack exchange，提问作者mmz