基于Pandas实现FullAddress多列匹配生成带标签地址列

原始数据结构 #

目标输出结构 #

规则说明 #

• 将FullAddress中的每个单词与Premise、Thoroughfare、Locality、PostalCode、Country列的内容匹配
• 匹配到对应列的单词，格式化为单词^列名；未匹配到的标记为单词^Others
• 支持FullAddress字段的任意排列顺序，需适配百万级数据集的高效处理

实现代码 #

import pandas as pd

def tag_address(row):
    # 按短语长度降序处理，优先匹配长字段内容
    fields = sorted(
        [("Premise", row["Premise"]), ("Thoroughfare", row["Thoroughfare"]), 
         ("Locality", row["Locality"]), ("PostalCode", row["PostalCode"]), 
         ("Country", row["Country"])],
        key=lambda x: len(str(x[1]).split()), reverse=True
    )
    
    tag_map = {}
    for tag, value in fields:
        if pd.notna(value) and value.strip():
            for word in str(value).split():
                if word not in tag_map:
                    tag_map[word] = tag
    
    # 拆分地址并添加标签
    address_segments = row["FullAddress"].split(", ")
    tagged_segments = []
    for seg in address_segments:
        tagged_words = [f"{word}^{tag_map.get(word, 'Others')}" for word in seg.split()]
        tagged_segments.append(" ".join(tagged_words))
    
    return ", ".join(tagged_segments)

# 应用函数生成标签列
df["FullAdressWithTag"] = df.apply(tag_address, axis=1)
# 提取结果数据集
result_df = df[["FullAddress", "FullAdressWithTag"]].copy()

代码说明 #

1. 长短语优先匹配：按字段内容的单词数量降序处理，确保长短语中的单词优先被标记对应列标签，避免短字段内容的单词覆盖
2. 去重标签分配：每个单词仅保留第一个匹配到的标签，保证一致性
3. 结构保留：拆分FullAddress的逗号分隔段后再处理单词，最后重组，完全保留原始地址的标点与分段结构
4. 空值处理：自动跳过空值或空字符串的字段，避免无效匹配

内容的提问来源于stack exchange，提问作者Puteri Hasya Damia