使用Pandas或AWS清洗用户录入城市名称的最简便实现方法
最低工作量实现方案(优先Python本地实现)
优先推荐用Python开源库实现,不需要额外申请云服务权限、做数据传输,代码量极低,调试成本几乎可以忽略。
实现逻辑
基于编辑距离的模糊匹配算法,自动识别拼写近似的字符串,匹配到你预设的标准值上,不需要手动罗列所有错误变体。
依赖安装
执行以下命令安装依赖库:
pip install pandas fuzzywuzzy python-Levenshtein
其中python-Levenshtein是C实现的编辑距离计算加速库,可选安装,不装也可正常运行,仅计算速度稍慢。
示例代码
import pandas as pd from fuzzywuzzy import process # 这里替换成你自己的DataFrame读取逻辑即可 df = pd.DataFrame({ "cycle-time": [5, 3, 7, 2, 5], "city": ["albany", "alyany", "albny", "ALBANY", "Albany"], "state": ["ny"] * 5 }) # 提前配置你需要的标准城市名列表,多城市直接补充即可 standard_city_list = ["Albany", "New York", "Chicago"] # 匹配函数,可自行调整相似度阈值(示例用80) def standardize_city(raw_city): match_res, score = process.extractOne(raw_city, standard_city_list) # 相似度低于阈值的原值返回,可后续单独人工核对 return match_res if score >= 80 else raw_city # 批量替换city列 df["city"] = df["city"].apply(standardize_city)
运行后你示例中的所有变体都会自动统一为标准值Albany。
AWS服务实现方案(仅适合数据已存储在AWS生态的场景)
如果你的数据本身已经存在AWS的存储/数仓中,可以直接用AWS Glue DataBrew的内置模糊匹配+值标准化功能,不需要写代码,可视化配置匹配规则、相似度阈值后运行任务即可完成标准化,但需要提前配置服务权限、数据读取路径,整体工作量比本地Python实现高30%以上,非AWS生态场景不推荐。
优化提示
如果数据量超过百万级,可将fuzzywuzzy替换为rapidfuzz库,API完全兼容,计算速度提升5~10倍。
内容的提问来源于stack exchange,提问作者PaulyP
相关产品推荐
相关产品推荐

