如何在Stata中对变量的子字符串值进行去重？

问题背景 #

我有一个存储受访者流利掌握语言的变量，需要去除其中重复的子字符串以生成新变量，示例如下：

已知存在包含7000+种语言值的字典，可通过字典匹配生成目标变量，但希望找到计算成本更低的实现方法（针对Stata软件）。

低成本实现方法 #

不需要依赖外部字典，直接通过拆分字符串-去重-重新合并的流程处理，计算效率更高，具体代码如下：

* 生成示例数据（实际使用时可跳过此步，直接处理现有数据）
clear
input str80 Languages
"Sylvan Elvish-Westron-Sylvan Elvish"
"Westron"
"Khuzdul"
"Quenyan Elvish-Sylvan Elvish"
"Black Speech-Westron"
"Haradi-Haradi"
end

* 核心处理流程
tempfile original_data
save `original_data'  // 保存原始数据副本

* 按分隔符"-"拆分字符串为长格式
split Languages, p(-) gen(lang_part)
reshape long lang_part, i(_n) j(position)
drop if lang_part == ""  // 清理拆分后产生的空值

* 按原始观测值去重，保留每个语言的唯一记录
bysort _n lang_part: keep if _n == 1

* 重新转换为宽格式并拼接成无重复的字符串
reshape wide lang_part, i(_n) j(position)
egen Cleaned_languages = concat(lang_part*), p(-)
replace Cleaned_languages = subinstr(Cleaned_languages, "--", "-", .)  // 移除多余的分隔符

* 合并回原始数据，整理变量顺序
merge 1:1 _n using `original_data', nogen
order Languages Cleaned_languages

* 查看结果
list, clean

方法优势 #

• 无需调用7000+条目的字典进行匹配，避免了大量字符串比对运算，计算成本大幅降低
• 流程简洁直接，仅通过Stata内置命令完成，兼容性强，适合处理大样本数据

内容的提问来源于stack exchange，提问作者Alexis