如何将Avro记录数组导入Vertica并转换为INT类型ARRAY

可选方案及优先级推荐 #

1. COPY阶段直接用AVROPARSER路径提取（优先选择，成本最低性能最好） #

Vertica自带的AVROPARSER支持通过AVRO_PATH语法直接提取嵌套Avro结构的字段，你不需要事后转换，导入时直接生成ARRAY[INT]格式存储即可，示例语句：

COPY target_table (
  my_column ARRAY[INT] AS AVRO_PATH('my_column[*].my_column')
)
FROM '/path/to/avro/data/*'
PARSER AVROPARSER(flatten_maps='false');

这个方案不需要额外开发，也不会产生额外的存储和查询时转换开销，是最优解。

2. SQL直接转换（适合已导入数据的临时查询/快速验证） #

如果数据已经导入存为VARBINARY类型，可以直接用Vertica内置的Map处理函数完成转换，不需要额外开发功能：

SELECT 
  ARRAY_AGG(CAST(map_val AS INT) ORDER BY REGEXP_SUBSTR(map_key, '^\\d+')::INT) AS my_column_array
FROM source_table,
     MAPITEMS(my_column) AS t(map_key, map_val)
WHERE map_key LIKE '%.my_column'
-- 这里补充你的表主键/唯一标识字段做分组，保证每行对应一个数组
GROUP BY id, other_unique_fields;

如果需要固化这个逻辑，直接封装成视图即可，不需要修改底层存储。

3. 标量UDF扩展（适合复杂转换场景） #

如果你的Avro结构还有更复杂的自定义逻辑，上面两种方案无法满足，可以开发轻量的C++/Java标量UDF：输入为VARBINARY类型的Avro原始数据，输出为ARRAY[INT]。开发完成后既可以在查询时调用，也可以嵌入到COPY命令中做导入时转换，示例COPY用法：

COPY target_table (
  raw_avro FILLER VARBINARY,
  my_column AS your_custom_avro_convert_udf(raw_avro)
)
FROM '/path/to/avro/data/*'
PARSER AVROPARSER();

你提到的COPY嵌入标量UDF的方案完全可行，UDTF适合一行输入转多行的场景，你这个需求不需要用到UDTF，UDParser也没必要，标量UDF足够。

4. 额外ETL流程（不推荐，仅适配已有链路的场景） #

如果你们全链路已经有统一的Spark/Flink预处理规范，可以先在ETL环节把Avro的嵌套数组展开为ARRAY[INT]再写入Vertica，这个方案会增加运维成本，没有现成链路的情况下不考虑。

内容的提问来源于stack exchange，提问作者yurmix