Hive如何基于输入lang列按分隔符拆分字段映射至英法语言对应列

核心思路 #

利用Hive内置的posexplode函数将拆分后的语言类型和对应的索引同时炸开，直接匹配eng/fra对应的索引，再从拆分后的col1数组中取对应位置的值即可，无需写大量case分支覆盖所有排列组合。

全场景兼容实现代码 #

select 
    -- 此处可追加你需要保留的原表其他字段
    max(case when lang_item = 'eng' then split(col1,';')[lang_idx] end) as col_eng,
    max(case when lang_item = 'fra' then split(col1,';')[lang_idx] end) as col_fra
from 你的表名
-- 炸开lang字段拆分后的元素和对应索引
lateral view posexplode(split(lang,';')) t as lang_idx, lang_item
group by 原表需保留的非聚合字段 -- 如原表主键、lang、col1等均可放在此处

场景适配说明 #

• 空值自动处理：如果对应位置的col1拆分后是空字符串（如示例11、12的场景），会自动返回null，完全匹配预期输出
• 重复语言标识适配：如果同一语言出现多次（如示例4的两个eng），默认取第一个出现的位置对应值，若需要取最后一个，将max替换为min即可调整
• 缺省语言自动返回null：如果lang字段中不存在eng或fra标识，case判断无匹配会直接返回null，符合预期规则

简化写法（Hive 2.3+ 版本可用） #

如果你的Hive版本支持element_at+map_from_arrays函数，可以用更简洁的写法：

select
    element_at(map_from_arrays(split(lang,';'), split(col1,';')), 'eng') as col_eng,
    element_at(map_from_arrays(split(lang,';'), split(col1,';')), 'fra') as col_fra
from 你的表名

注意：该写法如果遇到重复的lang key，会默认保留最后一个出现的key对应的值，若要和示例4的预期一致（取第一个eng的值），可先对拆分后的lang数组去重保留第一个出现的元素即可。

内容的提问来源于stack exchange，提问作者karthik adiga