You need to enable JavaScript to run this app. Stata解决合并数据集重复行:同国家性别年度失业数据匹配归集
优惠活动
大模型
产品
解决方案
定价
更多

Stata解决合并数据集重复行:同国家性别年度失业数据匹配归集

Stata 解决双源失业数据匹配时国别名不一致导致的拆分行问题

核心处理逻辑

当前的拆分问题本质不是合并操作出错,而是两类数据源的国别编码规则有差异:ILO估算值的编码在通用3位ISO国别码基础上加了额外后缀(如JOR_total),和官方统计用的JOR编码统计维度完全一致,但被识别成了不同主体,导致同一维度的两个指标被拆成了两行。不需要重新做完整的横向合并,只要先统一编码规则,再按核心维度聚合归集指标,就能实现每个「国家-性别-年份」组合只保留一行,把两个来源的失业率值归集到同一记录上。

分步操作代码

  • 第一步:统一国别编码规则
    把ILO数据源里带后缀的国别编码,拆解成和官方统计一致的3位基础国别码,避免手动逐个修改:
    * 提取每个country字段开头的3位大写ISO国别码,兼容不同长度的后缀
    gen country_std = ustrregexs(0) if ustrregexm(country, "[A-Z]{3}")
    * 排查编码修正情况:可以看到原来的JOR_total会被转换为JOR,和官方编码完全对齐
    tab country_std if country != country_std
    
    提示:如果数据集里的国别码没有复杂的非字母字符,也可以用gen country_std = substr(country, 1, 3)实现同样的拆分效果,语法更简单。
  • 第二步:按核心匹配维度归集两个失业率指标
    核心匹配维度为year、gender、country_std,这三个字段完全相同的记录,本质就是同一个统计主体。由于原来的拆分行上,官方失业率仅在官方编码的行非缺失,ILO估算值仅在原带后缀的行非缺失,直接按分组取非缺失值即可实现指标归集:
    * 按三个核心维度分组,归集两个指标的非缺失值
    bysort year gender country_std: ///
    egen unemp_official_temp = max(unemployment_official), by(year gender country_std)
    bysort year gender country_std: ///
    egen unemp_ilo_temp = max(unemployment_ilo), by(year gender country_std)
    
  • 第三步:去重生成最终单行数据
    把归集好的指标值替换原变量,删掉拆分形成的重复行,把国别码统一为标准3位格式:
    * 替换原失业率变量为归集后的版本
    replace unemployment_official = unemp_official_temp
    replace unemployment_ilo = unemp_ilo_temp
    * 每个核心维度组合仅保留1行,删除原拆分的重复记录
    keep if !duplicates(year gender country_std)
    * 把country字段替换为标准化的3位编码,去掉原ILO数据的后缀
    replace country = country_std
    * 清理临时生成的中间变量
    drop country_std unemp_official_temp unemp_ilo_temp
    
    这一步不需要担心重复行保留顺序问题:因为已经提前把country替换为标准化的country_std值,不管分组时保留的是原官方编码行还是原带后缀的ILO行,最终的country字段都会是统一的3位标准编码,不会残留_total类后缀。

结果校验

运行重复值检查命令,确认数据符合要求:

duplicates report year gender country

根据你的样例数据,处理后原来的约旦两行拆分记录会被归集为两条单行记录:2019年女性组官方失业率19%、ILO估算值17.3%;2019年男性组官方失业率8%、ILO估算值7.4%。原本编码没有后缀的埃及等国家记录不会受影响,会直接保留原有值和归集后的ILO估算值,和你期望的输出格式完全一致。

注意:如果后续发现部分国家的编码存在其他匹配差异(比如部分国家ILO编码没有加_total后缀但维度一致),可以在第一步的标准化环节手动做少数编码的映射,不需要调整整套处理逻辑。


内容的提问来源于stack exchange,提问作者maldini425

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 23:36:03