首次提问：Hive创建Avro格式表时遇重复字段AvroRuntimeException错误

首先咱们先拆解你遇到的报错：FAILED: SemanticException org.apache.avro.AvroRuntimeException: Duplicate field state in record record_2: state type:UNION pos:4 and state type:UNION pos:1.

这个错误的核心原因很明确：你要生成的AVRO表对应的结构体中，出现了重复的字段名state——AVRO对Record类型的字段名有严格的唯一性要求，不管是顶层字段还是嵌套的子结构体字段，都不能重名。

具体排查和修复步骤： #

1. 先检查源表的嵌套字段结构
   你的建表语句里，emp_accnt_dts对应b.acc_loc_dts_arr，emp_add_dtls对应b.emp_add_arr，这俩都是数组类型，里面的元素应该是结构体。你需要先确认这两个结构体里是不是都有state字段，或者某个结构体内部自己重复定义了state：

   -- 查看emp_dtls_1表的详细结构，重点看两个数组字段的类型
   DESCRIBE FORMATTED emp_dtls_1;
   

2. 重命名重复的嵌套字段
   如果确认是嵌套结构体里的state字段重名了，你需要在查询时给重复的字段改个名字，避免AVRO生成Schema时冲突。比如假设acc_loc_dts_arr里的state是账户地址相关的，emp_add_arr里的是员工住址相关的，你可以这么修改Named_struct部分：

   Collect_list(Named_struct(
       "emp_fname", b.emp_fname,
       "emp_lname", b.emp_lname,
       "emp_id", b.emp_id,
       "emp_ssn", b.emp_ssn,
       "emp_title", b.emp_title,
       -- 把账户地址里的state重命名为acc_state
       "emp_accnt_dts", transform(b.acc_loc_dts_arr, x -> named_struct("acc_state", x.state, "acc_city", x.city)),
       -- 把员工住址里的state重命名为add_state
       "emp_add_dtls", transform(b.emp_add_arr, x -> named_struct("add_state", x.state, "add_street", x.street))
   )) as emp_dtls
   

   这里用transform函数遍历数组，把原来的结构体转换成字段名唯一的新结构体，解决重名问题。

3. 修正建表语句里的低级错误
   你的语句里还有个容易踩坑的点：select 'a.pk_dept'和group by 'a.pk_dept'里的单引号，会把字段名变成字符串常量，而不是引用表a的pk_dept字段！这会导致所有数据都被分到同一个组里，完全不符合你的关联逻辑，必须去掉单引号：

   create table emp_dtls_2_avro stored as AVRO as 
   select a.pk_dept , a.dept_id, a.dept_name, 
   Collect_list(Named_struct(
       "emp_fname", b.emp_fname,
       "emp_lname", b.emp_lname,
       "emp_id", b.emp_id,
       "emp_ssn", b.emp_ssn,
       "emp_title", b.emp_title,
       "emp_accnt_dts", b.acc_loc_dts_arr,
       "emp_add_dtls", b.emp_add_arr
   )) as emp_dtls 
   from dept a inner join emp_dtls_1 b on a.pk_dept = b.fk_dept 
   group by a.pk_dept, a.dept_id, a.dept_name;
   

总结 #

先通过查看源表结构定位重复的state字段，用transform重命名嵌套字段解决AVRO Schema冲突，同时修正字段引用的单引号问题，应该就能顺利创建表了。

内容的提问来源于stack exchange，提问作者Somsubhra Mukherjee