通用SQL方言下#native(...)结构捕获的歧义解决与实现问询

我们希望定义如下语法表达式：

=expr + #native(...)

其中expr是我方已实现的合法表达式，但#native(...)内部是多种SQL方言（SQL Server、Oracle、MySQL、Postgres等）的合法语句，不受我方控制。我们需要捕获该结构内的输入内容，但存在歧义：

• 如何判断)何时是原生表达式的终止符？虽然可以解析'...'或"..."这类字符串以忽略内部字符，但不同方言的转义规则不统一——有的用重复引号（如"He said ""hello""."），有的用反斜杠（如"He said \"Hello\"."），很难通用判断引号、注释等场景的边界。

除了改成带自定义转义的字符串字面量（如=expr + #native("...")），有没有更优雅的歧义解决方法？

思路与可行方案 #

我们可以为每种目标方言预先存储其引号、注释及转义字符规则，示例映射如下：

{
    "postgres": {
        "comments": [
            "--"
        ],
        "blocks": [
           {"start": "/*","end": "*/"}
        ],
        "quotes": [
           {"value": "'","escape": "''"},
           {"value": "\"","escape": "\"\""}
        ]
    },
    "mysql": {
        "comments": [
            "#"
        ],
        "blocks": [
           {"start": "/*","end": "*/"}
        ],
        "quotes": [
            {"value": "'","escape": "\\"},
            {"value": "\"","escape": "\\"},
            {"value": "`","escape": "``"}
        ]
    }
}

同时将#native改为具体的方言标识，比如=expr + #postgres(...)，示例：

=1 + #postgres(SELECT (ARRAY[(2),'-3' /*)(*/, (((3)))])[1])
--> 3

方案可行性分析 #

这个方案是有效可行的：

1. 通过绑定具体方言，我们可以精准应用对应规则处理引号、注释和转义，准确识别原生SQL的边界，避免)的歧义判断问题；
2. 规则映射的方式具备扩展性，新增方言时只需补充对应的规则配置即可，无需修改核心解析逻辑；
3. 示例中的场景（包含嵌套括号、注释内的)、字符串内的特殊字符）都能被正确解析，符合需求。

词法分析与ANTLR实现建议 #

1. 提取#native(...)组件的方法：

   • 首先在词法层面识别#postgres这类方言标识，然后触发对应的方言规则解析器；
   • 解析时，按照该方言的规则遍历字符：跳过注释内容，正确处理字符串（包括转义规则），只有当遇到不在字符串/注释内的)时，才判定为原生表达式的结束。

2. ANTLR实现方式：

   • 不需要额外添加预处理器，可以通过ANTLR的**模式(Mode)和词法状态(Lexer State)**来实现：
     • 当词法分析器识别到#postgres(时，切换到POSTGRES_NATIVE模式；
     • 在该模式下，根据PostgreSQL的规则定义词法规则（匹配字符串、注释、普通字符，以及终止的)）；
     • 当匹配到终止的)时，切回默认模式，完成原生SQL内容的捕获；
   • 不同方言可以对应不同的词法模式，通过方言标识动态切换，或者为每种方言编写独立的词法子规则，在语法规则中根据标识调用对应的解析逻辑。

内容的提问来源于stack exchange，提问作者David542