如何在Impala中限制CONCAT结果长度为32767字符？

问题背景 #

现有表结构如下：

使用以下SQL按id分组拼接string_col字段：

SELECT
    id,
    CONCAT('[', GROUP_CONCAT(DISTINCT(string_col)), ']') AS strings_list
FROM my_table
GROUP BY id

查询结果符合业务需求，但导出至Excel时，部分strings_list字段长度远超Excel单元格的最大限制（32767字符），导致文件异常。需要将拼接后的结果长度限制在32767字符以内。

解决方案 #

直接截断拼接结果（简单快速） #

使用SUBSTRING函数直接截取拼接后的字符串前32767个字符，确保符合Excel的长度要求：

SELECT
    id,
    SUBSTRING(CONCAT('[', GROUP_CONCAT(DISTINCT string_col), ']'), 1, 32767) AS strings_list
FROM my_table
GROUP BY id

这种方式操作简便，但可能会截断到某个字符串的中间，导致输出的列表格式不完整。如果需要保证所有拼接的字符串都是完整的，可以采用下面的方法。

保留完整字符串的截断方式 #

通过自定义变量追踪累计长度，只拼接总长度不超过限制的完整字符串，同时预留开头[和结尾]的位置：

SELECT
    id,
    CONCAT('[', TRIM(TRAILING ', ' FROM result), ']') AS strings_list
FROM (
    SELECT
        id,
        @current_len := 0,
        GROUP_CONCAT(
            CASE
                -- 预留2个字符用于包裹[]，每个字符串加分隔符占2位
                WHEN @current_len + LENGTH(string_col) + 2 <= 32765
                THEN (@current_len := @current_len + LENGTH(string_col) + 2) AND string_col
                ELSE NULL
            END SEPARATOR ', '
        ) AS result
    FROM my_table
    GROUP BY id
) AS temp

这种方法会在累计长度接近限制时停止拼接后续字符串，确保结果中所有string_col值都是完整的，不会出现半截字符串的情况。

不推荐方案：修改GROUP_CONCAT系统参数 #

MySQL的group_concat_max_len参数控制GROUP_CONCAT的最大输出长度，但修改该参数会影响整个数据库实例的其他查询，且即便调大参数，最终仍会受限于Excel的32767字符限制，因此不建议采用这种方式解决问题。

内容的提问来源于stack exchange，提问作者drake10k