如何批量移除Pandas DataFrame中SQL查询列的注释并保留原有列

核心实现 #

直接对原DataFrame的目标列做逐行处理后赋值回原列，不需要新建独立DataFrame，所有原有列会完整保留，直接在原对象上完成修改。

首先确保依赖已安装：

pip install pandas sqlparse

核心处理代码：

import pandas as pd
import sqlparse

# 直接更新原DataFrame的Query列，其余列不受任何影响
data['Query'] = data['Query'].apply(
    lambda sql: sqlparse.format(sql, strip_comments=True).strip()
)

原有写法问题说明 #

• 单条索引取值处理的方式只能操作单个单元格，效率低无法覆盖全量数据
• 循环生成新列表再创建独立DataFrame的方式，仅保存了处理后的SQL列，没有和原表其他业务字段关联，会丢失除Query外的所有列数据
• 注意不要使用list作为变量名，会覆盖Python内置的列表类型，引发不必要的报错

兼容空值的优化版本 #

如果Query列存在None/NaN空值，加上空值判断避免运行报错：

data['Query'] = data['Query'].apply(
    lambda sql: sqlparse.format(sql, strip_comments=True).strip() if pd.notna(sql) else sql
)

效果验证 #

构造包含两类注释的测试数据：

# 测试样例
data = pd.DataFrame({
    'Name': ['活跃用户查询', '年度订单查询'],
    'Query': [
        '-- 查询活跃用户ID\nSELECT id FROM users WHERE status = 1 /* 仅筛选状态为正常的用户 */',
        '/*  需求：统计2024年之后的订单\n    表：orders表 */\nSELECT order_name, amount FROM orders WHERE create_time >= "2024-01-01" -- 过滤时间范围'
    ]
})

执行上述处理代码后，Query列的两类注释（--开头单行注释、/* */包裹的多行注释）会被全部移除，Name列的原有业务数据完全保留，处理后的SQL内容为：

• 活跃用户查询对应的SQL：SELECT id FROM users WHERE status = 1
• 年度订单查询对应的SQL：SELECT order_name, amount FROM orders WHERE create_time >= "2024-01-01"

内容的提问来源于stack exchange，提问作者Nitesh Jha