You need to enable JavaScript to run this app. 使用Pandas或AWS清洗用户录入城市名称的最简便实现方法
优惠活动
大模型
产品
解决方案
定价
更多

使用Pandas或AWS清洗用户录入城市名称的最简便实现方法

最低工作量实现方案(优先Python本地实现)

优先推荐用Python开源库实现,不需要额外申请云服务权限、做数据传输,代码量极低,调试成本几乎可以忽略。

实现逻辑

基于编辑距离的模糊匹配算法,自动识别拼写近似的字符串,匹配到你预设的标准值上,不需要手动罗列所有错误变体。

依赖安装

执行以下命令安装依赖库:

pip install pandas fuzzywuzzy python-Levenshtein

其中python-Levenshtein是C实现的编辑距离计算加速库,可选安装,不装也可正常运行,仅计算速度稍慢。

示例代码

import pandas as pd
from fuzzywuzzy import process

# 这里替换成你自己的DataFrame读取逻辑即可
df = pd.DataFrame({
    "cycle-time": [5, 3, 7, 2, 5],
    "city": ["albany", "alyany", "albny", "ALBANY", "Albany"],
    "state": ["ny"] * 5
})

# 提前配置你需要的标准城市名列表,多城市直接补充即可
standard_city_list = ["Albany", "New York", "Chicago"]

# 匹配函数,可自行调整相似度阈值(示例用80)
def standardize_city(raw_city):
    match_res, score = process.extractOne(raw_city, standard_city_list)
    # 相似度低于阈值的原值返回,可后续单独人工核对
    return match_res if score >= 80 else raw_city

# 批量替换city列
df["city"] = df["city"].apply(standardize_city)

运行后你示例中的所有变体都会自动统一为标准值Albany。

AWS服务实现方案(仅适合数据已存储在AWS生态的场景)

如果你的数据本身已经存在AWS的存储/数仓中,可以直接用AWS Glue DataBrew的内置模糊匹配+值标准化功能,不需要写代码,可视化配置匹配规则、相似度阈值后运行任务即可完成标准化,但需要提前配置服务权限、数据读取路径,整体工作量比本地Python实现高30%以上,非AWS生态场景不推荐。

优化提示

如果数据量超过百万级,可将fuzzywuzzy替换为rapidfuzz库,API完全兼容,计算速度提升5~10倍。

内容的提问来源于stack exchange,提问作者PaulyP

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 18:27:03