如何基于单位换算DataFrame高效为pandas表生成Ratio比值列

不要用iterrows逐行遍历，该方案在数据量超过10万行时性能会急剧下降，直接用pandas原生矢量化操作实现，性能可提升2~3个数量级。 #

具体实现步骤 #

1. 重构单位换算表结构 #

你现有的换算表是宽表结构，不适合直接批量查找，先将其转换为无空值的长表结构，每行对应一组「物理量+单位+换算比值」映射：

# 假设存储物理量和单位的原始表为df，换算比值表为conversion_df
conversion_long = (
    conversion_df
    .reset_index(names="Unit")  # 把行索引的单位转为普通列
    .melt(id_vars="Unit", var_name="Quantity", value_name="Ratio")
    .dropna(subset=["Ratio"])  # 删掉无效空值行，只保留有效映射
)

转换后的长表结构示例：

2. 批量匹配生成Ratio列 #

直接用pandas内置的merge做哈希连接匹配，整个过程在C层执行，无Python层逐行循环：

# 按Quantity和Unit两个字段做左连接，直接把比值匹配到原表
df = df.merge(conversion_long, on=["Quantity", "Unit"], how="left")

执行完就可以得到你预期的结果，和目标输出完全一致。 #

补充说明 #

• 该方案在百万行级数据下运行耗时仅几十毫秒，远快于逐行遍历方案
• 如果你的换算表存在重复的「物理量+单位」映射，提前对长表去重即可避免匹配出多余行：

conversion_long = conversion_long.drop_duplicates(subset=["Quantity", "Unit"])

• 如果后续需要频繁做这类匹配，也可以给conversion_long设置["Quantity", "Unit"]为联合索引，用df.join做匹配，性能还能再提升一点。

内容的提问来源于stack exchange，提问作者bokushi