JupyterLab编辑208MB文本文件保存报Out of Memory错误如何解决
JupyterLab大文本文件保存内存不足解决方案
该报错是由于JupyterLab前端默认的缓存内存上限、服务端写入缓冲区限制,不足以支撑百MB级文本文件的编辑后提交导致的,可通过以下方法解决:
- 方法1:通过代码单元格写入内容,绕过编辑器保存限制
完成内容编辑后全选编辑区的所有内容复制,在同个JupyterLab实例下新建Python 3笔记本,运行如下代码即可写入文件:
若编辑后内容体积过大无法直接粘贴到代码块,可全选内容复制到本地轻量文本编辑器(如系统记事本、VS Code)直接保存即可。# 粘贴复制的编辑后内容到下方三个引号之间 edited_content = """ 此处粘贴所有编辑后内容 """ with open("foobar_edited.txt", "w", encoding="utf-8") as f: f.write(edited_content) - 方法2:调高JupyterLab运行内存上限后重启
关闭当前运行的JupyterLab进程,在启动终端中添加缓冲区参数重新启动:
上述参数将缓冲区上限调整为1GB,足够支撑200MB级文件的写入操作,重启后重新编辑保存即可。jupyter lab --ServerApp.max_buffer_size=1073741824 - 方法3:使用命令行工具预处理文件(适合固定规则编辑场景)
如果仅需要按规则删除指定行数、过滤指定内容,可直接使用shell命令处理,无需将文件加载到图形编辑器内存,例如删除文件第5行到第25行内容的命令为:
处理完成后直接生成修改后的文件,不会触发内存不足问题。sed -i '5,25d' foobar.txt
内容的提问来源于stack exchange,提问作者felixm
相关产品推荐
相关产品推荐

