如何使用HQL/SQL解析带转义规则的CSV格式字符串？

场景与已知问题 #

当前场景需要解析Hive表中单个字符串列存储的CSV格式内容，解析结果后续将同步至PostgreSQL，解析规则需严格遵循通用CSV语法：

• 双引号包裹的字段范围内，逗号属于数据内容，不能作为拆分边界
• 字段内部的双引号使用连续两个双引号做转义，不能误判为字段闭合标记

测试用例：
输入字符串：a,b,c,"d,e,1","dj+""17"""
预期拆分输出：a、b、c、d,e,1、dj+"17"

已尝试方案的缺陷 #

当前使用的regexp_extract实现：

regexp_extract(data,'(,?(".*?"|[^,]*)){1}',2)

仅能处理无转义逻辑的简单场景，遇到带连续转义双引号的字段时，会错误把"dj+""17"""拆分为dj+、17、空字符串，不符合解析要求。
而通用CSVSerde的设计用途是将整份独立文本文件作为CSV数据源映射为Hive表结构，无法直接适配“某一列本身存储了一段CSV字符串”的场景，不能直接复用。

可选替代实现 #

1. 直接使用Hive内置CSV解析UDF（优先选这个） #

Hive 2.3.0及以上版本内置了csv_record_parseUDF，该函数完全按照RFC4180 CSV规范实现，内置处理了引号边界、双引号转义的逻辑，不需要额外依赖。
用法示例：

-- 将列内的CSV字符串拆分为字段数组
SELECT csv_record_parse(data) AS parsed_field_list
FROM your_target_table;

对上述测试用例运行后，返回的数组结果为["a","b","c","d,e,1","dj+\"17\""]，后续只需要按下标索引就能提取需要的指定字段，比如取第4个字段直接用parsed_field_list[3]即可。

2. 自定义轻量UDF（兼容所有Hive版本） #

如果当前集群的Hive版本低于2.3.0，没有内置的csv_record_parse函数，可以写一个极简的UDF调用成熟的CSV解析库实现，不需要自己手写正则处理复杂边界：

• 用Python实现的话，直接调用Python标准库的csv模块，将输入的字符串读入生成字段列表即可，总代码量不超过20行
• 用Java实现的话，可以引入Apache Commons CSV依赖完成解析
  UDF注册到Hive会话后，使用方式和内置UDF完全一致。

3. 临时正则修正方案（仅救急使用） #

如果不想新增UDF，也可以通过预处理替换的方式绕开正则的匹配缺陷：

1. 先将原字符串中连续的""替换成一个业务字段中不会出现的临时标记，比如##ESC##
2. 再用原有的正则逻辑拆分字段
3. 拆分完成后，将每个字段内的临时标记再替换回双引号
   这个方案仅适合临时应急使用，如果业务字段本身包含临时标记内容，会出现解析错误，不适合长期生产环境使用。

内容的提问来源于stack exchange，提问作者H8oddo