不慎为大型文件启用tokenization致打开崩溃，如何禁用？

1. 强制全局关闭CSV的高耗内存功能 #

如果用VS Code这类编辑器，直接改全局设置彻底禁用相关功能：

• 按Ctrl+Shift+P（Win/Linux）或Cmd+Shift+P（Mac）打开命令面板，输入Open Settings (JSON)
• 在settings.json里添加以下配置：

  "[csv]": {
    "editor.wordWrap": "off",
    "editor.folding": false,
    "editor.tokenization": false,
    "editor.maxTokenizationLineLength": 0
  }
  

• 保存后重启编辑器，再打开文件。

2. 清除单个文件的个性化配置 #

有些编辑器会给特定文件保存独立设置，导致全局配置不生效：

• 如果文件同目录有.vscode文件夹，删除里面的settings.json
• 若为全局存储的文件配置，打开编辑器的「工作区设置」，搜索对应CSV文件名的配置条目并删除。

3. 换轻量工具打开预处理 #

• 用记事本、Notepad++（开启「轻量模式」）直接打开，这类工具默认不会启用tokenization这类复杂功能
• 用命令行截取部分内容验证设置：

  # 截取前100行生成测试文件
  head -n 100 your_large_file.csv > test.csv
  

  确认测试文件能正常打开后，再处理原文件。

4. 用表格工具按需导入 #

用Excel/WPS的「数据导入」功能，选择CSV文件后，只勾选需要的列、设置合适的分隔符，避免加载全部内容占用内存。

内容的提问来源于stack exchange，提问作者Yussuf Mohammad Abbas