Apache Nifi使用ExecuteStreamCommand运行Python脚本缺pandas库如何解决

• 你本地安装的Python和pandas可能是当前登录用户的私有环境，Apache NiFi进程通常以独立系统用户运行，无法读取当前用户的第三方库安装路径
• 系统存在多个Python版本，NiFi调用的Python解释器路径和你本地常用的不是同一个，pandas仅安装在其中一个环境中
• 若你使用了虚拟环境管理Python依赖，NiFi默认不会主动激活对应虚拟环境，无法读取虚拟环境内的库

步骤1：确认NiFi调用的Python解释器路径 #

• 先在ExecuteStreamCommand处理器的配置项中，查看Command Path字段填的具体路径，比如是python、python3还是绝对路径如/usr/bin/python3
• 可以临时写一个测试脚本test_python.py，内容如下：

import sys
print(sys.executable)
print(sys.path)

• 在ExecuteStreamCommand中运行这个脚本，从输出结果拿到NiFi实际调用的Python解释器绝对路径，记为$PYTHON_PATH

步骤2：给对应Python解释器安装pandas #

• 打开终端，直接使用上述拿到的Python解释器绝对路径执行安装命令：
  $PYTHON_PATH -m pip install pandas
• 如果NiFi进程以特定用户（比如nifi用户）运行，需要切换到对应用户再执行安装：
  sudo -u nifi $PYTHON_PATH -m pip install pandas
• 若你的Python脚本依赖虚拟环境，不需要全局安装pandas，直接在ExecuteStreamCommand的Command Arguments里配置为激活虚拟环境后运行脚本即可，比如Command Path填bash，Arguments填-c "source /path/to/your/venv/bin/activate && python /path/to/your/script.py"

步骤3：验证安装结果 #

• 再次运行测试脚本，新增一行import pandas; print(pandas.__version__)，确认能正常输出版本号即为配置成功

• 不要仅执行pip install pandas，该命令默认会将库安装到当前终端登录用户的默认Python环境中，无法解决NiFi调用其他解释器的路径问题
• 如果服务器无外网权限，可以提前下载pandas及相关依赖的whl包，通过$PYTHON_PATH -m pip install /path/to/pandas.whl方式离线安装

内容的提问来源于stack exchange，提问作者Anil Krishna Parvathaneni