如何查询Amazon Athena中含混合类型的double列?
解决Amazon Athena混合类型列的查询问题
你的核心问题是表列定义为double,但实际存在JSON数组数据,Athena在读取阶段就会因类型不匹配报错,根本无法执行后续的try_cast等转换操作。以下是可行的解决方案:
步骤1:绕过类型校验,以字符串形式读取数据
直接修改原表列类型或创建临时表,将目标列定义为string类型,让Athena把所有数据(包括double值和数组)都当作字符串读取:
方式1:创建临时表(推荐,不修改原表)
CREATE TABLE temp_mixed_col AS SELECT CAST(col AS string) AS col_str FROM tbl.db;
如果直接CAST报错,说明原表的SerDe解析在读取时就失败,需要直接创建匹配数据格式的新表:
CREATE TABLE temp_mixed_col ( col_str string ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://your-table-storage-path/'; -- 填写原表的S3存储路径
步骤2:转换为统一类型
在临时表的基础上,根据需求将数据转换为单一类型:
转换为double类型(空数组返回null,单元素数组取元素)
SELECT CASE -- 判断是否为数组格式 WHEN col_str LIKE '[%]' THEN CASE -- 空数组返回null(可根据需求改为0) WHEN col_str = '[]' THEN NULL -- 提取数组第一个元素转成double ELSE CAST(json_extract_scalar(col_str, '$[0]') AS double) END -- 正常double字符串直接转换 ELSE CAST(col_str AS double) END AS normalized_double_col FROM temp_mixed_col;
转换为array类型(所有值统一为数组)
SELECT CASE -- 已有数组直接转换 WHEN col_str LIKE '[%]' THEN CAST(col_str AS array<double>) -- 单个double值包装成数组 ELSE ARRAY[CAST(col_str AS double)] END AS normalized_array_col FROM temp_mixed_col;
为什么之前的方法失败?
try_cast失败:Athena在读取阶段就会校验列类型,遇到数组直接报错,根本到不了try_cast执行的步骤。- 转JSON失败:同样是读取阶段的类型校验问题,原列定义为double,SerDe会强制将所有数据转成double,数组无法转换就直接报错。
内容的提问来源于stack exchange,提问作者Theodore Nordsieck
相关产品推荐
相关产品推荐

