如何在不加载10GB大文件的情况下，向CSV文件首行插入特征列名？

当然可以！处理10GB这种级别的大CSV时，全量加载到内存完全是给自己找罪受——我们直接操作文件本身就行，不用把整个文件塞进内存。给你两种靠谱的方案：

方法1：纯Python文件流操作（跨平台通用） #

这个方法通过逐行读写文件，全程只在内存里保留一行数据，内存占用极低，不管文件多大都能轻松处理：

import shutil  # 可选，用于覆盖原文件

# 定义特征列名，转成CSV格式的行
features = ['VendorID', 'mta_tax', 'tip_amount', 'tolls_amount', 'improvement_surcharge', 'total_amount']
header_line = ','.join(features) + '\n'

input_file = path + 'data.csv'
output_file = path + 'data_with_header.csv'  # 先写入新文件，建议先验证再覆盖原文件

# 逐行处理，避免全量加载
with open(input_file, 'r') as infile, open(output_file, 'w') as outfile:
    # 先写入表头
    outfile.write(header_line)
    # 把原文件内容逐行复制到新文件
    for line in infile:
        outfile.write(line)

# 如果确认结果正确，想要覆盖原文件（记得先备份！）
# shutil.move(output_file, input_file)

为什么这个方法好用？ #

• 不会把整个10GB文件加载到内存，内存占用只取决于单行长，几乎可以忽略。
• 跨平台，Windows、Linux、macOS都能用。
• 操作安全，先写入新文件，验证没问题再替换原文件，避免误操作丢数据。

方法2：Linux/macOS下用系统命令（速度更快） #

如果是在Linux或macOS环境下，用sed命令会比Python更快，直接原地修改文件（强烈建议先备份原文件）：

# 直接在文件第一行前插入特征列名（逗号分隔）
sed -i '1iVendorID,mta_tax,tip_amount,tolls_amount,improvement_surcharge,total_amount' data.csv

命令解释 #

• sed是Linux下专门处理文本流的工具，效率极高。
• 1i表示“在第1行之前插入内容”，后面跟着的就是我们要插入的表头行。
• -i参数表示直接修改原文件，如果怕误操作，可以改成-i.bak，这样会先备份原文件为data.csv.bak，再修改原文件。

重要提醒 #

• 一定要先备份原文件！不管用哪种方法，操作大文件前备份都是避免数据丢失的底线。
• 先检查原文件有没有表头，避免重复插入导致数据混乱。
• 如果是Windows环境，PowerShell也有类似的文本处理命令，但直接用方法1的Python代码会更稳妥。

内容的提问来源于stack exchange，提问作者steve