Apache NiFi中ExecuteStreamCommand执行Python脚本遇导入错误求助

问题详情 #

在NiFi中使用ExecuteStreamCommand处理器运行以下Python脚本时，触发ImportError: No module named pandas错误：

import pandas as pd
import sys
file = pd.read_json(sys.stdin)
file.to_json(sys.stdout)

处理器核心配置：

• 执行模式：Execute command once per flow file
• 命令：python
• 参数：指定了Python脚本的路径

错误核心信息：

ImportError: No module named pandas

排查与解决方法 #

1. 验证NiFi运行用户的Python环境是否安装pandas #

NiFi进程通常以专用系统用户（如nifi）运行，该用户的Python环境可能和你本地开发环境不一致。

• 登录NiFi所在服务器，切换到NiFi运行用户：

  sudo su - nifi
  

• 执行命令验证pandas是否安装：

  python -c "import pandas; print(pandas.__version__)"
  # 若使用Python3，替换为python3
  

• 如果验证失败，执行安装命令：

  pip install pandas
  # 对应Python3使用pip3 install pandas
  

2. 指定Python解释器的绝对路径 #

避免系统环境变量中多版本Python冲突，在ExecuteStreamCommand的Command字段填写Python解释器的绝对路径：

• 先通过以下命令找到路径：

  which python  # 或which python3
  

• 将结果（如/usr/bin/python3）填入处理器的Command字段，替换原有的python。

3. 检查脚本路径与权限 #

• 确保脚本路径填写绝对路径，避免相对路径导致NiFi找不到文件；
• 确认NiFi运行用户对脚本文件有读权限，可通过以下命令调整权限：

  chmod +r /path/to/your/script.py
  

4. 使用虚拟环境隔离依赖（可选） #

如果需要独立的Python环境，可创建虚拟环境并安装pandas：

# 创建虚拟环境
python3 -m venv /path/to/nifi-python-venv
# 激活并安装pandas
source /path/to/nifi-python-venv/bin/activate
pip install pandas
deactivate

随后在ExecuteStreamCommand的Command字段填写虚拟环境的Python路径：/path/to/nifi-python-venv/bin/python

内容的提问来源于stack exchange，提问作者lbened