AWS EMR Jupyter Notebook导入libpostal parse_address失败求助

问题根源 #

Jupyter Notebook进程启动时会加载初始环境变量，后续通过%env设置的环境变量仅对Notebook内的shell子进程生效，不会影响Python主进程的环境变量。而导入postal模块时依赖的LD_LIBRARY_PATH是进程启动时的配置，所以直接用%env修改无法解决问题。

可行解决方案 #

方案1：修改Jupyter配置文件，启动时注入环境变量

1. SSH到EMR主节点，进入Jupyter配置目录（通常是/etc/jupyter/或~/.jupyter/）
2. 创建或编辑jupyter_notebook_config.py，添加以下代码：

   import os
   os.environ['LD_LIBRARY_PATH'] = '/usr/local/lib:' + os.environ.get('LD_LIBRARY_PATH', '')
   

3. 重启Jupyter服务（根据EMR版本，服务名可能是jupyter-notebook或jupyterhub）：

   sudo systemctl restart jupyter-notebook
   

方案2：在Notebook内动态设置环境变量并重新加载模块

如果不想重启服务，可在Notebook中执行以下步骤：

import os
import sys
import importlib

# 设置环境变量
os.environ['LD_LIBRARY_PATH'] = '/usr/local/lib:' + os.environ.get('LD_LIBRARY_PATH', '')

# 若已导入postal，需重新加载模块
if 'postal' in sys.modules:
    importlib.reload(sys.modules['postal'])

# 重新导入目标函数
from postal.parser import parse_address

方案3：启动Jupyter时直接指定环境变量

1. 先停止当前Jupyter服务：

   sudo systemctl stop jupyter-notebook
   

2. 带环境变量启动服务：

   LD_LIBRARY_PATH=/usr/local/lib sudo systemctl start jupyter-notebook
   

3. （可选）永久修改systemd配置，避免每次启动都手动设置：
   • 编辑Jupyter的systemd服务文件（通常在/etc/systemd/system/下）
   • 在[Service]段添加：

     Environment="LD_LIBRARY_PATH=/usr/local/lib"
     

   • 重新加载配置并重启：

     sudo systemctl daemon-reload
     sudo systemctl restart jupyter-notebook
     

内容的提问来源于stack exchange，提问作者Cat