如何安全解析复杂SQL VALUES字符串为列

我正在处理一段表示SQL参数值的字符串，需要将其解析为单独的列，示例字符串如下：

values = "( 14587, '290\'960', 'This is, a, difficult,,, string that uses '' \" and even '' \" , '' '', ''. So it definitely needs to be checked for escape characters.', null )"

需要应对的挑战：

• 不同数据类型：值可能为整数、字符串或null
• 转义字符：字符串可能包含转义单引号('')、反斜杠或其他特殊字符
• 嵌入分隔符：字符串内可能包含逗号，导致无法直接按逗号拆分
• 引号匹配：需正确匹配字符串两端的单引号

我尝试用正则表达式拆分引号外的逗号，代码如下：

import re

values = "( 14587, '290\'960', 'This is, a, difficult,,, string that uses '' \" and even '' \" , '' '', ''. So it definitely needs to be checked for escape characters.', null )"

# 移除外层括号和首尾空格
cleaned_values = values.strip().strip('()')

# 用正则拆分引号外的逗号，处理转义引号
values_list = re.split(r",(?=(?:[^']*'[^']*')*[^']*$)", cleaned_values)

# 去除每个元素的空格
values_list = [v.strip() for v in values_list]

print(cleaned_values)
for value in values_list:
    print(value)

这个方法有一定效果，但稳定性不足，无法处理所有边缘场景（尤其是更复杂的SQL字符串）。现询问：
如何以最优且可靠的方式解析此类SQL VALUES字符串为列，满足以下要求：

• 正确处理不同数据类型
• 准确解析与处理转义特殊字符
• 保留包含嵌入逗号或引号的字符串完整性

相比正则表达式，使用专用SQL parser或其他方法是否更合适？

专用SQL解析器是更可靠的选择 #

正则表达式仅能覆盖简单场景，面对SQL字符串中复杂的转义规则、特殊字符组合时极易失效。专用SQL解析器是为SQL语法量身打造的，能精准处理所有SQL规范内的边缘情况，是这类需求的最优解。

用Python的sqlparse库实现可靠解析 #

sqlparse是成熟的SQL解析库，能正确识别SQL语法结构，包括VALUES子句中的各个参数。以下是实现代码：

import sqlparse
from sqlparse.sql import IdentifierList, Identifier, Token

def extract_values(values_str):
    # 补全为完整SQL语句，便于解析器识别结构
    sql = f"INSERT INTO dummy VALUES {values_str}"
    parsed = sqlparse.parse(sql)[0]
    
    # 定位VALUES子句中的值列表
    values = None
    for token in parsed.tokens:
        if isinstance(token, IdentifierList):
            values = token
            break
    
    if not values:
        return []
    
    result = []
    for item in values.get_identifiers():
        # 处理字符串类型：还原SQL转义的单引号
        if item.tokens[0].ttype == Token.Literal.String.Single:
            raw_str = item.value
            cleaned_str = raw_str[1:-1].replace("''", "'")
            result.append(cleaned_str)
        # 处理NULL类型
        elif item.value.upper() == 'NULL':
            result.append(None)
        # 处理数字类型
        elif item.ttype in (Token.Literal.Number.Integer, Token.Literal.Number.Float):
            result.append(int(item.value) if item.value.isdigit() else float(item.value))
        # 其他类型直接保留原始值（可按需扩展）
        else:
            result.append(item.value.strip())
    
    return result

# 测试示例
values = "( 14587, '290\'960', 'This is, a, difficult,,, string that uses '' \" and even '' \" , '' '', ''. So it definitely needs to be checked for escape characters.', null )"
parsed_values = extract_values(values)

for idx, val in enumerate(parsed_values):
    print(f"列{idx+1}: {repr(val)}")

解析效果说明 #

1. 数据类型处理：自动识别整数、字符串、NULL，转换为Python对应类型（int、str、None）
2. 转义字符处理：正确将SQL中的双单引号''还原为单个单引号'，完整保留字符串内的逗号、双引号等特殊字符
3. 完整性保留：无论字符串内有多少嵌入逗号或转义符号，都能完整提取整个字符串值

为什么比正则表达式更优 #

• 正则依赖字符匹配规则，无法覆盖所有SQL语法细节（比如不同数据库的转义差异、特殊字符组合）
• SQL解析器基于语法分析，能理解SQL的结构逻辑，而非简单的字符匹配，稳定性和兼容性更强

内容的提问来源于stack exchange，提问作者Oleksandr Myronchuk