如何在Pandas有效行中计算BLEU分数？解决KeyError与循环优化

1. KeyError的根本原因及修复 #

你遇到的KeyError:139是因为过滤后的valid_rows保留了原DataFrame的非连续索引——原DataFrame有13700行，过滤掉无效行后，有效行的索引还是原数据集的子集（比如第139行被过滤，索引中就缺失了139）。如果循环时用range(len(valid_rows))去按索引标签访问行，自然会找不到不存在的索引值。

修复方法：过滤后立即重置索引

# 过滤col1/col2/col3均非空的行，同时重置索引为连续整数
valid_rows = df.dropna(subset=['col1', 'col2', 'col3']).reset_index(drop=True)

重置后valid_rows的索引会变成0到12207的连续序列，彻底避免索引不匹配导致的KeyError。

2. 用sacrebleu批量计算替代循环（彻底解决反模式） #

sacrebleu.compute()本身支持批量输入，完全不需要逐行循环。只需把Pandas Series转换成符合要求的字符串列表即可：

核心代码示例 #

假设col1是参考文本，col2是待计算BLEU的候选文本：

import sacrebleu
import pandas as pd

# 读取Excel数据
df = pd.read_excel("your_file.xlsx")

# 过滤有效行并重置索引
valid_rows = df.dropna(subset=['col1', 'col2', 'col3']).reset_index(drop=True)

# 将Series转为字符串列表
candidates = valid_rows["col2"].tolist()
# sacrebleu要求references是嵌套列表（单参考时每个子列表仅含一个元素）
references = [[ref] for ref in valid_rows["col1"].tolist()]

# 批量计算BLEU
bleu_results = sacrebleu.compute(predictions=candidates, references=references)

# 将计算结果合并回原DataFrame（可选）
df["bleu_score"] = None
df.loc[valid_rows.index, "bleu_score"] = bleu_results["scores"]

关键细节说明 #

• 输入格式要求：predictions是候选文本的一维列表，references是嵌套列表（每个元素对应一个候选的所有参考文本，单参考场景下每个子列表仅含一个字符串）。
• 效率优势：批量计算比逐行循环效率高10~100倍，完全规避Pandas循环的反模式。
• 索引对齐：重置索引后，valid_rows的索引和计算出的scores列表顺序严格对应，合并回原DataFrame时不会错位。

3. 若需逐行处理（不推荐） #

如果因特殊需求必须逐行计算，不要用索引循环，改用iterrows()遍历：

for idx, row in valid_rows.iterrows():
    candidate = row["col2"]
    reference = [row["col1"]]
    score = sacrebleu.compute(predictions=[candidate], references=[reference])["scores"][0]
    # 处理单条分数

但这种方式效率极低，仅在极端场景下使用。

内容的提问来源于stack exchange，提问作者Raptor