Stata解决合并数据集重复行:同国家性别年度失业数据匹配归集
Stata 解决双源失业数据匹配时国别名不一致导致的拆分行问题
核心处理逻辑
当前的拆分问题本质不是合并操作出错,而是两类数据源的国别编码规则有差异:ILO估算值的编码在通用3位ISO国别码基础上加了额外后缀(如JOR_total),和官方统计用的JOR编码统计维度完全一致,但被识别成了不同主体,导致同一维度的两个指标被拆成了两行。不需要重新做完整的横向合并,只要先统一编码规则,再按核心维度聚合归集指标,就能实现每个「国家-性别-年份」组合只保留一行,把两个来源的失业率值归集到同一记录上。
分步操作代码
- 第一步:统一国别编码规则
把ILO数据源里带后缀的国别编码,拆解成和官方统计一致的3位基础国别码,避免手动逐个修改:
提示:如果数据集里的国别码没有复杂的非字母字符,也可以用* 提取每个country字段开头的3位大写ISO国别码,兼容不同长度的后缀 gen country_std = ustrregexs(0) if ustrregexm(country, "[A-Z]{3}") * 排查编码修正情况:可以看到原来的JOR_total会被转换为JOR,和官方编码完全对齐 tab country_std if country != country_stdgen country_std = substr(country, 1, 3)实现同样的拆分效果,语法更简单。 - 第二步:按核心匹配维度归集两个失业率指标
核心匹配维度为year、gender、country_std,这三个字段完全相同的记录,本质就是同一个统计主体。由于原来的拆分行上,官方失业率仅在官方编码的行非缺失,ILO估算值仅在原带后缀的行非缺失,直接按分组取非缺失值即可实现指标归集:* 按三个核心维度分组,归集两个指标的非缺失值 bysort year gender country_std: /// egen unemp_official_temp = max(unemployment_official), by(year gender country_std) bysort year gender country_std: /// egen unemp_ilo_temp = max(unemployment_ilo), by(year gender country_std) - 第三步:去重生成最终单行数据
把归集好的指标值替换原变量,删掉拆分形成的重复行,把国别码统一为标准3位格式:
这一步不需要担心重复行保留顺序问题:因为已经提前把country替换为标准化的* 替换原失业率变量为归集后的版本 replace unemployment_official = unemp_official_temp replace unemployment_ilo = unemp_ilo_temp * 每个核心维度组合仅保留1行,删除原拆分的重复记录 keep if !duplicates(year gender country_std) * 把country字段替换为标准化的3位编码,去掉原ILO数据的后缀 replace country = country_std * 清理临时生成的中间变量 drop country_std unemp_official_temp unemp_ilo_tempcountry_std值,不管分组时保留的是原官方编码行还是原带后缀的ILO行,最终的country字段都会是统一的3位标准编码,不会残留_total类后缀。
结果校验
运行重复值检查命令,确认数据符合要求:
duplicates report year gender country
根据你的样例数据,处理后原来的约旦两行拆分记录会被归集为两条单行记录:2019年女性组官方失业率19%、ILO估算值17.3%;2019年男性组官方失业率8%、ILO估算值7.4%。原本编码没有后缀的埃及等国家记录不会受影响,会直接保留原有值和归集后的ILO估算值,和你期望的输出格式完全一致。
注意:如果后续发现部分国家的编码存在其他匹配差异(比如部分国家ILO编码没有加
_total后缀但维度一致),可以在第一步的标准化环节手动做少数编码的映射,不需要调整整套处理逻辑。
内容的提问来源于stack exchange,提问作者maldini425
相关产品推荐
相关产品推荐

