Pandas遍历DataFrame列匹配字符串返回对应值的最快方法

核心思路 #

不要用双重循环（每个文本遍历所有姓名做匹配）、不要高频调用pandas条件筛选，这两类实现时间复杂度高，数据量上来之后速度会非常慢。最优方案是预构建哈希映射+集合交集匹配，整体时间复杂度能压到最低，是当前场景下速度最快的实现：

• 先一次性把DataFrame里的姓名和年龄的对应关系转成Python字典，基于哈希表做查询，单次查年龄的时间复杂度是O(1)，比pandas原生筛选快几十倍。
• 匹配姓名时把文本拆成单词集合，和预存的姓名集合做交集，不需要遍历所有姓名就能直接拿到匹配结果，匹配效率拉满。

可直接运行的代码 #

import pandas as pd

# 初始化示例DataFrame，实际使用时替换成你自己的数据源即可
df = pd.DataFrame({
    "name": ["ben", "rob", "james"],
    "age": [66, 45, 22],
    "city": ["NY", "LON", "LA"]
})

# 待处理的文本列表
texts = [
    "rob was born in London",
    "ben once lived in New York"
]

# --------------------------
# 以下预构建逻辑只需要执行1次，后续所有文本查询都可以复用
# --------------------------
# 构建姓名到年龄的哈希映射
name_age_map = df.set_index("name")["age"].to_dict()
# 把所有姓名存为集合，加速交集匹配
name_pool = set(name_age_map.keys())

def match_age(text: str) -> int:
    # 文本拆分为单词转集合，和姓名池取交集
    text_words = set(text.split())
    # 基于你给出的前提：每个文本恰好包含1个匹配姓名，直接取交集结果即可
    matched_name = next(iter(text_words & name_pool))
    return name_age_map[matched_name]

# 批量处理所有文本，列表推导比pandas的apply方法速度更快
results = [match_age(t) for t in texts]
print(results)  # 输出 [45, 66]，和预期结果完全一致

额外适配提示 #

• 如果文本里的姓名存在大小写不一致（比如出现"Rob"、"BEN"），只要在构建姓名池和拆分单词时统一转小写即可，代码示例：

  name_pool = {n.lower() for n in name_age_map.keys()}
  # 匹配函数内拆分单词的逻辑改成
  text_words = {w.lower() for w in text.split()}
  

• 如果文本里的姓名带标点后缀（比如"rob,"、"ben."），拆分单词时加一步简单的标点清洗就行，核心匹配逻辑不用改动。
• 不要用df[df["name"] == 某姓名]["age"].iloc[0]这类写法做高频查询，pandas每次做条件筛选都会扫描全表，数据量到十万级以上时，性能和字典方案的差距会拉到上百倍。

内容的提问来源于stack exchange，提问作者James