在AWS Lambda中替代sed删除CSV表头的方案及Python实现方法

方案1：Postgres COPY命令直接跳过表头（推荐） #

完全不需要修改CSV文件，直接在Postgres的COPY操作中跳过表头即可，这是最高效的方式。

如果用psycopg2执行，代码示例如下：

import psycopg2

# 建立数据库连接
conn = psycopg2.connect("your_db_connection_params")
cur = conn.cursor()

with open(local_path, 'r') as f:
    # 跳过第一行表头
    next(f)
    # 将剩余内容批量写入数据库
    cur.copy_from(f, 'target_table_name', sep=',')

conn.commit()
cur.close()
conn.close()

如果直接写SQL命令，也可以加上HEADER参数让Postgres自动识别并跳过表头：

COPY target_table_name FROM '/tmp/your_file.csv' WITH (FORMAT csv, HEADER);

方案2：纯Python修改CSV文件（跨平台） #

如果必须要修改本地文件（比如后续需要复用处理后的文件），可以用Python原生方法直接读写，全程不依赖系统命令：

import shutil

def remove_csv_header(file_path):
    temp_file = file_path + ".tmp"
    with open(file_path, 'r') as infile, open(temp_file, 'w') as outfile:
        # 跳过第一行
        next(infile)
        # 复制剩余所有内容到临时文件
        shutil.copyfileobj(infile, outfile)
    # 用临时文件替换原文件
    shutil.move(temp_file, file_path)

# 调用函数处理目标CSV
remove_csv_header(local_path)

Lambda的/tmp目录支持读写，这个方法在任何Python环境都能正常运行，完全没有平台兼容性问题。

方案3：适配Lambda Linux环境的sed命令 #

如果坚持想用sed，Lambda运行的是Linux系统，Mac版sed和GNU sed语法不同，Linux下不需要空备份后缀，直接用以下命令即可：

subprocess.run(f"sed -i '1d' {local_path}", shell=True, check=True)

1d表示删除文件第一行，加上check=True可以捕获命令执行错误，方便后续排查问题。

内容的提问来源于stack exchange，提问作者sobmortin354