如何在Pandas读取CSV时动态跳过开头非数据行？

针对气象局（Bureau of Meteorology）格式不固定的气象CSV文件（开头注释行数不统一），可以通过以下方式实现动态跳过注释行：

方法一：先扫描文件定位表头行 #

核心思路是先逐行读取文件，找到包含表头关键词（比如"Date"）的行号，再用这个行号作为skiprows参数的值，精准跳过之前的注释行，对大型CSV文件效率更高。

代码实现 #

import pandas as pd

def get_header_row_index(file_path):
    with open(file_path, 'r', encoding='latin1') as f:
        for line_num, line_content in enumerate(f):
            # 根据表头特征精准匹配，避免误判（示例表头以,"Date"开头）
            if line_content.strip().startswith(',"Date"'):
                return line_num
        # 未找到表头时返回0，可根据需求改为抛出异常
        return 0

# 调用函数读取文件
target_file = "your_file_path.csv"
header_idx = get_header_row_index(target_file)
weather_data = pd.read_csv(target_file, skiprows=header_idx, encoding='latin1')

方法二：利用skiprows的可调用参数 #

如果注释行有统一特征（比如均不包含表头关键词），可以给skiprows传入判断函数，动态决定是否跳过该行：

代码实现 #

import pandas as pd

def skip_comment_rows(row_num, file_path):
    # 首次调用时缓存所有行，避免重复IO操作
    if not hasattr(skip_comment_rows, 'lines'):
        with open(file_path, 'r', encoding='latin1') as f:
            skip_comment_rows.lines = f.readlines()
    line = skip_comment_rows.lines[row_num]
    # 不包含表头关键词的行视为注释行，返回True表示跳过
    return '"Date"' not in line

# 读取文件
target_file = "your_file_path.csv"
weather_data = pd.read_csv(
    target_file,
    skiprows=lambda x: skip_comment_rows(x, target_file),
    encoding='latin1'
)

注意事项 #

• 优先选择方法一，扫描到表头行即停止读取，对大文件更友好；
• 可根据实际表头特征调整判断条件（比如匹配多个关键词），提升定位准确性；
• 保留encoding='latin1'以适配气象局文件的编码格式。

内容的提问来源于stack exchange，提问作者Redz