如何忽略参数与格式差异获取SQL查询哈希以统计查询出现次数

针对仅持有general_log导出的原始SQL字符串、无法从业务侧获取预处理语句的场景，以下方法可以完全规避书写格式、参数值差异的干扰，准确归并逻辑一致的查询，支持多表JOIN、子查询等复杂SQL结构。

方案1：调用数据库内置归一化能力（准确率最高，优先选择） #

MySQL/MariaDB 服务端本身自带生产环境可用的SQL归一化逻辑，原本用于性能监控场景下的SQL执行频次统计，不需要手写规则，也不需要真实执行查询：

• MySQL 5.7+、MariaDB 10.0+ 版本直接提供内置函数，传入原始SQL即可直接输出标准化模板和对应哈希：
  • DIGEST_TEXT(sql_str)：返回统一格式、剔除所有字面量参数的SQL模板，自动完成关键字大小写统一、标识符格式统一、冗余符号（多余空格、末尾分号）清理、注释移除，所有常量值（字符串、数字、日期等）会被替换为?占位符
  • STATEMENT_DIGEST(sql_str)：直接返回归一化后SQL的哈希值，可直接用于分组统计

-- 你给出的4条示例SQL传入后，返回的norm_sql和sql_hash完全一致
SELECT
  DIGEST_TEXT("SELECT * FROM foo where bar = 'baz'") AS norm_sql,
  STATEMENT_DIGEST("SELECT * FROM foo where bar = 'baz'") AS sql_hash;

上述示例返回的归一化模板统一为 SELECT * FROM `foo` WHERE `bar` = ?，直接按sql_hash分组计数即可得到准确的查询出现次数。

• 如果版本较低不支持直接传参调用上述函数，可以将待分析SQL批量导入临时表，会话级开启performance_schema统计，对每条SQL执行EXPLAIN（避免真实修改数据）后，直接从performance_schema.events_statements_summary_by_digest表中读取对应的DIGEST_TEXT和DIGEST字段即可，效果和直接调用函数完全一致。

方案2：离线AST解析归一化（无需数据库连接，纯文本处理） #

如果无法使用数据库内置能力，可以基于SQL语法解析做离线处理，禁止手写正则做替换——正则无法覆盖SQL语法边界（比如字符串转义、注释嵌套、特殊语法），复杂SQL场景下错误率极高：

• 第一步做基础清洗：移除SQL中所有注释、连续空白符、末尾分号，将SQL关键字统一转为大写，统一标识符的反引号包裹规则（建议统一保留反引号，避免关键字和标识符冲突）
• 第二步用成熟的MySQL语法解析器将原始SQL解析为抽象语法树（AST），遍历AST节点将所有字面量常量（字符串、数字、日期、布尔值等）替换为统一占位符
• 最后可以将替换后的AST还原为标准化SQL字符串，也可以直接对AST结构计算哈希，得到不受格式、参数影响的唯一查询标识。
  成熟SQL解析库已经覆盖了所有MySQL/MariaDB的语法边界，包括复杂JOIN、子查询、窗口函数、自定义函数等场景，处理准确率和数据库内置逻辑基本一致。

无效方案避坑 #

• 不要直接对原始SQL字符串做哈希：完全无法处理格式、参数差异，统计结果没有参考价值
• 不要仅对EXPLAIN结果做哈希：同一条SQL传入不同参数可能触发不同的执行计划（比如统计信息阈值导致的索引选择变化），会导致同一条SQL被误拆分；不同SQL也可能生成结构相似的执行计划，导致误合并
• 不要用简单正则替换字面量：无法正确处理转义字符、注释内的特殊字符、非标准语法，SQL复杂度越高错误率越高

内容的提问来源于stack exchange，提问作者cottton