Pandas与Plotly使用异常:脚本持续加载旧大型CSV文件
解决Plotly导入时自动处理旧大文件的问题
排查方向与解决步骤
- 检查脚本硬编码路径:仔细排查当前测试脚本,确认没有残留旧3GB文件的路径引用,哪怕是注释代码也可能因误执行触发问题。
- 清除Plotly缓存目录:Plotly会缓存数据或渲染结果,找到对应系统的缓存目录并删除所有文件:
- Windows:
%USERPROFILE%\.plotly - macOS/Linux:
~/.plotly
删除后重启Python运行环境。
- Windows:
- 重启IDE/终端:终止程序后IDE可能残留进程或缓存,直接关闭当前终端或整个IDE,重新打开后运行测试脚本。
- 切换干净运行环境:用命令行直接执行测试脚本,避开IDE缓存干扰;或新建虚拟环境,仅安装pandas、plotly依赖后再测试。
- 改用分块读取处理大文件:针对千万级记录的大文件,不要一次性加载全量数据,用pandas分块读取并提取目标列,结合
plotly.graph_objects逐步构建图表:
用import pandas as pd import plotly.graph_objects as go fig = go.Figure() # 分块处理单个大文件 chunk_size = 1000000 for chunk in pd.read_csv("your_large_file.csv", usecols=["目标列1", "目标列2"], chunksize=chunk_size): fig.add_trace(go.Scatter(x=chunk["目标列1"], y=chunk["目标列2"], mode="lines", name="文件1")) # 重复逻辑处理其他文件 fig.show()plotly.graph_objects替代plotly.express,可灵活控制数据加载流程,避免px自动全量处理数据的问题。
内容的提问来源于stack exchange,提问作者ebug38
相关产品推荐
相关产品推荐

