Pandas query报错：无法转换为有效Python标识符问题求助

问题场景 #

CSV文件列名包含空格和特殊符号PAY (£M/m)，无法修改该命名。执行df.query("PAY (£M/m) < '3'")时抛出SyntaxError，提示无法将BACKTICK_QUOTED_STRING_PAY__LPAR_£M_SLASH_m_RPAR_转换为有效的Python标识符，且需要根据输入动态生成查询语句。

测试用CSV数据：

PAY (£M/m)  INITIALS   ID
         2        ZE  223
         5        NY  532
         1        MA  122
         3        ON  873
         3        LS  235

解决方案 #

方法1：使用eval结合loc实现动态查询 #

利用df.eval()解析特殊列名，配合loc筛选数据，通过@引用变量实现动态阈值：

import pandas as pd

df = pd.read_csv('your_file.csv')
threshold = '3'  # 可根据输入动态调整

filtered_data = df.loc[df.eval("`PAY (£M/m)` < @threshold")]

方法2：调整query字符串格式，用双引号包裹列名 #

将列名用双引号包裹，外层搭配f-string，通过local_dict传递动态变量：

threshold = '3'
query_str = f'"PAY (£M/m)" < @threshold'
filtered_data = df.query(query_str, local_dict={'threshold': threshold})

方法3：直接使用布尔索引（避开query方法） #

最直接的方式，通过列名索引构建布尔筛选条件：

threshold = '3'
filtered_data = df[df['PAY (£M/m)'] < threshold]

方法4：临时重命名列名（可选） #

若允许临时修改列名，先替换为合法标识符，查询完成后再还原：

temp_col = 'temp_pay'
df_temp = df.rename(columns={'PAY (£M/m)': temp_col})
threshold = '3'
filtered_data = df_temp.query(f"{temp_col} < @threshold")
# 还原原列名
filtered_data = filtered_data.rename(columns={temp_col: 'PAY (£M/m)'})

报错原因 #

Pandas的query方法会尝试将反引号包裹的列名转换为Python合法标识符，但列名中的括号、英镑符号、斜杠等特殊字符导致转换失败，从而触发SyntaxError。

内容的提问来源于stack exchange，提问作者OttoLuck