Go语言中将Athena查询结果转换为自定义强类型结构体的实现方法

Go语言Athena查询结果转自定义结构体方案 #

目前有成熟的第三方开源转换组件可以直接实现该需求，无需手动从头开发，支持通过结构体标签映射athena.GetQueryResultsOutput到自定义结构体，自动处理基础类型、数组类型的解析转换，能自动规避数组元素内逗号的解析问题。

如果要自行开发转换包，两个核心难点的解决思路如下：

• 数组类型可靠解析：Athena返回的数组字符串是标准的Hive序列化格式，不要直接按逗号分割，可采用栈匹配逻辑解析：遇到[栈计数+1，遇到]栈计数-1，只有栈计数等于1时遇到的逗号才是元素分割符，即可完美避开元素内部的逗号、转义字符干扰，同时可以配合ResultSetMetadata中返回的数组元素类型做类型转换。
• 无泛型下的返回值优化：不需要返回[]interface{}类型，可以参考json.Unmarshal的API设计，将目标切片的指针作为入参传入转换函数，内部通过反射直接给目标结构体赋值，用户无需手动做类型断言，使用体验更好，示例用法可设计为：

var res []myModel
err := athenaconv.Unmarshal(queryResultOutput.ResultSet, &res)

对应需求的实现示例：

const testSql = `
select
    id,
    name,
    count(source_id) as aggregate_count,
    array_agg(source_id) as aggregate_source_ids,
    array_agg(source_name) as aggregate_source_names
from my_glue_catalog_table
group by id, name
`

type myModel struct {
    ID                   int64    `athenaconv:"id"`
    Name                 string   `athenaconv:"name"`
    AggregateCount       int      `athenaconv:"aggregate_count"`
    AggregateSourceIDs   []int64  `athenaconv:"aggregate_source_ids"`
    AggregateSourceNames []string `athenaconv:"aggregate_source_names"`
}

// 执行Athena查询
queryResultOutput, err := awsAthenaClient.GetQueryResults(ctx, &queryResultInput)
if err != nil {
    // 错误处理逻辑
}

// 转换为自定义结构体切片
var mapped []myModel
err = athenaconv.Unmarshal(queryResultOutput.ResultSet, &mapped)
if err != nil {
    // 转换错误处理逻辑
}

内容的提问来源于stack exchange，提问作者kent-id