使用Pandas跳过不定行数定位departmentName和departmentID所在行的方法

• 第一步：先以无表头、不跳过行的方式读取原始文件的前N行做试探（一般前导垃圾行不会超过50行，大文件可以避免全量读取浪费资源），所有列统一读为字符串类型，避免类型转换丢失字段信息
• 第二步：遍历试探读取的每一行，将当前行的非空值去重后判断是否同时包含departmentName和departmentID两个目标字段，匹配到的行就是目标表头行
• 第三步：拿到目标行的索引后，既可以直接用这个行号作为后续正式读取文件的header参数，也可以单独保存行号做其他逻辑处理

基于Pandas的实现 #

适配你已有的代码片段扩展如下：

import pandas as pd

# 试探读取前50行，可根据实际场景调整行数，无表头、全列读为字符串
df_probe = pd.read_csv("你的文件路径.csv", header=None, dtype=str, nrows=50)

target_row_num = None
for index_1, row_1 in df_probe.iterrows():
    # 提取当前行所有非空值转为集合，提升包含判断效率
    row_val_set = set(row_1.dropna().tolist())
    if "departmentName" in row_val_set and "departmentID" in row_val_set:
        target_row_num = index_1
        break

# target_row_num就是你需要的目标行号
if target_row_num is not None:
    print(f"目标行号为：{target_row_num}")
    # 后续可直接用该行号正式读取结构化数据
    df_final = pd.read_csv("你的文件路径.csv", header=target_row_num)
else:
    print("未找到包含目标字段的行")

大文件优化版本（无需加载全量数据） #

如果文件体积特别大，可以用内置csv模块逐行扫描，内存占用几乎为0：

import csv

target_row_num = None
with open("你的文件路径.csv", "r", encoding="utf-8") as f:
    reader = csv.reader(f)
    for idx, row in enumerate(reader):
        # 清洗当前行的空值和空格
        clean_row = [cell.strip() for cell in row if cell.strip()]
        if "departmentName" in clean_row and "departmentID" in clean_row:
            target_row_num = idx
            break

如果读取的是Excel文件，只需要把pd.read_csv替换为pd.read_excel，参数逻辑完全一致。

内容的提问来源于stack exchange，提问作者Blake McLaughlin