Lambda函数无法识别df_data变量，pdb调试报NameError如何解决

根因说明 #

该报错是pdb调试环境下的作用域适配问题：代码中lambda通过闭包捕获的df_data属于外层全局变量，pandas的apply方法会在独立的上下文环境执行传入的函数，pdb调试时会改变运行时的作用域查找优先级，导致apply执行阶段无法找到原本已经定义的df_data变量。

修复方案 #

方案1：通过apply参数显式传入df_data（最稳妥） #

放弃lambda的隐式闭包捕获，改成普通函数+apply的args参数显式传递变量：

import pandas as pd
import datetime as dt

df_data = pd.DataFrame({'DateTime' : [dt.datetime(2017, 9, 1, 0, 0, 0),dt.datetime(2017, 9, 1, 1, 0, 0),dt.datetime(2017, 9, 1, 2, 0, 0),dt.datetime(2017, 9, 1, 3, 0, 0)], 'Data' : [1,2,3,5]})

df_timeRanges = pd.DataFrame({'startTime':[dt.datetime(2017, 8, 30, 0, 0, 0), dt.datetime(2017, 9, 1, 1, 30, 0)], 'endTime':[dt.datetime(2017, 9, 1, 0, 30, 0), dt.datetime(2017, 9, 1, 2, 30, 0)]})

print(df_data)
print(df_timeRanges)

# 定义普通函数，显式接收df参数
def range_match(x, df):
    return (df.DateTime >= x.startTime) & (df.DateTime <= x.endTime)

# 通过args参数传入df_data，避免闭包作用域问题
sol = df_data[df_timeRanges.apply(range_match, axis=1, args=(df_data,)).any()]

print(sol)

方案2：改用区间索引实现逻辑（性能更高） #

直接用pandas原生的IntervalIndex实现区间匹配，完全避免apply的作用域问题，处理大数据量时性能也更好：

# 构建时间区间索引
time_intervals = pd.IntervalIndex.from_arrays(df_timeRanges['startTime'], df_timeRanges['endTime'], closed='both')
# 匹配DateTime落在任意区间的行
match_mask = df_data['DateTime'].apply(lambda t: any(t in interval for interval in time_intervals))
sol = df_data[match_mask]

方案3：临时适配pdb调试 #

如果不需要修改原有代码，只需要在pdb中正常运行，触发调试后先执行如下命令再继续运行：

(Pdb) global df_data

排查步骤 #

• 触发报错后在pdb命令行执行p 'df_data' in globals()，确认变量确实存在于全局作用域，排除变量提前被释放、定义顺序错误的问题
• 单独执行一次func(df_timeRanges.iloc[0])，如果可以正常返回结果，即可确认问题出在apply的执行上下文作用域适配，而非代码逻辑错误
• 执行pd.__version__对比服务器和在线环境的pandas版本，1.1.0之前的pandas版本存在apply上下文作用域处理的已知bug，升级pandas版本也可解决该问题
• 临时添加打印locals()、globals()的代码到apply函数内部，确认执行阶段可访问的变量列表，定位变量丢失的具体环节

内容的提问来源于stack exchange，提问作者Chalcididae