如何在线程中修改类变量 多线程操作pandas DataFrame不生效求助

问题核心原因 #

• Pandas本身不是线程安全的，多线程同时修改全局dfOut、dfAvg会触发竞态条件，写入操作会被直接忽略；同时你用的self.dfOut[key][date]链式索引本身会触发SettingWithCopyWarning，单线程下就大概率修改失败，多线程下冲突会更严重。
• Python标准线程受GIL全局解释器锁限制，CPU密集型的CSV数据处理用多线程不会有任何提速效果，只会额外增加冲突概率。
• 额外问题：你在线程中直接修改progress_bar、info_panel属于跨线程操作UI，绝大多数GUI框架（比如你用的tkinter）不支持跨线程修改UI组件，会导致进度更新异常甚至程序崩溃。

解决建议 #

方案1：改用多进程+结果合并（最推荐，可真正实现提速） #

每个进程单独处理拆分好的dfSplit分片，各自生成局部的输出DataFrame，不要共享全局对象，所有进程处理完成后在主进程做聚合即可，完全避开跨进程修改冲突：

from multiprocessing import Pool

# 把处理逻辑改成无全局依赖的纯函数
def process_chunk(df_chunk, whitelist, time_zone_offset, DST_start, DST_end, DST_diff):
    # 此处写你原有的日期处理、数值筛选、统计逻辑，生成当前分片的df_out、df_avg
    return df_out, df_avg

# 主进程调用逻辑
if __name__ == "__main__":
    pool = Pool(processes=4)
    results = []
    # 提交所有分片处理任务
    for chunk in dfSplit:
        res = pool.apply_async(process_chunk, args=(
            chunk, self.whitelist, self.time_zones[self.time_zone], 
            self.DST_start, self.DST_end, self.DST_diff
        ))
        results.append(res)
    pool.close()
    pool.join()
    
    # 合并所有分片的处理结果
    all_out = []
    all_avg = []
    for res in results:
        df_o, df_a = res.get()
        all_out.append(df_o)
        all_avg.append(df_a)
    # 按日期、key做聚合求和得到最终结果
    final_dfOut = pd.concat(all_out).groupby(level=["date", "key"]).sum()
    final_dfAvg = pd.concat(all_avg).groupby(level=["date", "key"]).sum()

方案2：坚持用多线程的话，加锁+修复索引写法 #

如果必须用多线程，给共享DataFrame的修改操作加线程锁，同时把链式索引改成.loc写法保证修改生效：

1. 类初始化阶段新增锁对象：self.lock = threading.Lock()
2. 修改DataFragment的逻辑调整为：

if (val != 'NaN'):
    if(key in whitelist):
        try:
            temp = float(val)
            # 加锁保证同一时间只有一个线程写数据
            with self.lock:
                if pd.isna(self.dfOut.loc[date, key]):
                    self.dfOut.loc[date, key] = temp
                else:
                    self.dfOut.loc[date, key] += temp
                self.dfAvg.loc[date, key] += 1
        except ValueError:
            with self.lock:
                self.dfOut.loc[date, key] = val

注意：加锁后写入操作会变成串行，不会有任何提速效果，仅能解决写入失败的问题，不推荐使用

方案3：优先优化单线程逻辑（性能提升最明显） #

你原来用apply逐行处理本身性能就极差，先把日期处理、数值转换的逻辑改成pandas向量化操作，单线程处理速度就能提升几十上百倍，完全不需要开多线程/进程。

内容的提问来源于stack exchange，提问作者Zach Plocher