pandas读取文件时如何跳过注释行但在输出文件中保留注释行

核心思路 #

pandas的comment参数会直接过滤掉注释行不加载到DataFrame中，因此无法直接从处理后的DataFrame复原原注释内容。你需要先单独缓存原文件中的所有注释行，再读取数据部分做业务处理，最终导出时先写入缓存的注释，再写入处理后的数据。

基础实现（注释集中在文件头部，导出时注释保留在头部） #

import pandas as pd

# 第一步：收集原文件头部所有#开头的注释行
comment_lines = []
with open("abc.csv", "r", encoding="utf-8") as f:
    for line in f:
        if line.strip().startswith("#"):
            comment_lines.append(line)
        else:
            # 遇到第一个非注释行停止，若注释可能出现在其他位置可删除这行break
            break

# 第二步：读取数据部分做处理，沿用你原有的参数即可
# 注意：原代码中的pd.read是笔误，正确方法为pd.read_csv
df = pd.read_csv("abc.csv", comment="#", index_col=False, low_memory=False)

# 此处替换为你自己的数据处理逻辑
# 示例：df = df.drop_duplicates()

# 第三步：导出文件，先写注释再写处理后的数据
with open("output.csv", "w", encoding="utf-8") as f:
    # 写入所有缓存的注释行
    f.writelines(comment_lines)
    # 写入处理后的DataFrame，关闭索引输出
    df.to_csv(f, index=False)

进阶实现（注释分散在文件各处，保留注释原始位置） #

如果你的注释行不是集中在头部，而是夹在数据行之间，需要先给所有行打标记区分类型，处理完数据后再按原顺序拼接：

import pandas as pd
from io import StringIO

# 第一步：读取所有行，区分注释行和数据行
all_lines = []
data_rows = []
with open("abc.csv", "r", encoding="utf-8") as f:
    for line in f:
        stripped_line = line.strip()
        # 注释行、空行直接标记后存储
        if stripped_line.startswith("#") or not stripped_line:
            all_lines.append(("comment", line))
        else:
            all_lines.append(("data", line))
            data_rows.append(line)

# 第二步：读取数据部分做处理
df = pd.read_csv(StringIO("".join(data_rows)), index_col=False, low_memory=False)

# 此处替换为你自己的数据处理逻辑
# 示例：df["new_col"] = df["col1"] + df["col2"]

# 第三步：将处理后的数据转回行列表，按原顺序拼接注释和处理后的数据
processed_data_lines = df.to_csv(index=False).splitlines(keepends=True)
data_pointer = 0
final_content = []
for line_type, content in all_lines:
    if line_type == "comment":
        final_content.append(content)
    else:
        if data_pointer < len(processed_data_lines):
            final_content.append(processed_data_lines[data_pointer])
            data_pointer += 1

# 第四步：写入最终文件
with open("output.csv", "w", encoding="utf-8") as f:
    f.writelines(final_content)

内容的提问来源于stack exchange，提问作者bhaviya babu