Pyodide环境使用NLTK时出现punkt资源缺失找不到文件问题咨询

问题根源 #

• Pyodide基于WebAssembly运行在浏览器沙箱中，使用独立的内存虚拟文件系统，存储路径和本地Python环境不同
• NLTK默认搜索路径没有包含你下载punkt资源的实际存储目录，报错信息显示当前仅搜索/nltk_data路径，而默认nltk.download会把资源存在/home/pyodide/nltk_data下，两者不匹配

修复方案 #

只要在下载资源前，将你指定的下载目录加入NLTK的资源搜索路径即可，修改后的代码如下：

核心Python逻辑 #

import nltk
# 先将目标存储目录加入NLTK搜索路径
nltk.data.path.append("/nltk_data")
pkg = "punkt"
# 显式指定下载目录和索引源
downloader = nltk.downloader.Downloader(server_index_url="https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml") 
downloader.download(pkg, download_dir='/nltk_data')
# 测试功能
for sent in nltk.sent_tokenize("Test string"):
    print(sent)

完整可运行HTML示例 #

<!DOCTYPE html>
<html>
  <body>
    <script type="text/javascript" src="https://cdn.jsdelivr.net/pyodide/v0.18.0/full/pyodide.js"></script>
    <script type="text/javascript">
      // init Pyodide
      async function pyodide_loader() {
        let pyodide = await loadPyodide({
          indexURL: "https://cdn.jsdelivr.net/pyodide/v0.18.0/full/",
        });
        await pyodide.loadPackage("micropip");
        await pyodide.loadPackage("nltk");
        return pyodide;
      }
      let pyodideReadyPromise = pyodide_loader();

      // run Python code and load NLTK
      async function load_packages() {
        let pyodide = await pyodideReadyPromise;
        pyodide.runPython(`
print("*** import nltk")
import nltk
print(f"*** NLTK version {nltk.__version__} imported, downloading resources now")
# 加入搜索路径
nltk.data.path.append("/nltk_data")
pkg = "punkt"
nltk.download(pkg, download_dir='/nltk_data')
test_str = "Just for testing"
for sent in nltk.sent_tokenize(test_str):
    print(sent)
        `);
      }
      load_packages()
    </script>
  </body>
</html>

排查技巧 #

如果修改后还是报错，可以加以下代码验证资源是否下载到了正确位置：

import os
# 打印NLTK所有搜索路径
print("NLTK搜索路径：", nltk.data.path)
# 查看目标路径下的文件
print("目录内容：", os.listdir("/nltk_data/tokenizers/punkt/PY3"))

正常情况会输出english.pickle文件存在。

内容的提问来源于stack exchange，提问作者Sylvain