R中使用reticulate调用keras时无法识别已安装的pandas模块

初始报错现象 #

调用keras的flow_images_from_dataframe()函数时，R抛出如下提示：

Error in flow_images_from_dataframe() : 
  Pandas (python module) must be installed in the same environment as Keras.Install it using reticulate::virtualenv_install("pandas", envname = "r-tensorflow") or reticulate::conda_install("pandas", envname = "r-tensorflow") depending on the kind of environment you are using.

已完成的排查操作 #

按照常规排错流程依次执行验证，得到如下结果：

• 初次检查pandas模块在当前R绑定的Python环境中是否可用，返回结果为不可用：

  reticulate::py_module_available("pandas")
  # 输出：FALSE
  

• 核查当前系统下的reticulate虚拟环境列表，确认报错提示中提到的r-tensorflow环境确实存在：

  reticulate::virtualenv_list()
  # 输出："r-reticulate" "r-tensorflow"
  

• 执行环境激活操作，将R会话绑定到目标虚拟环境：

  use_virtualenv('r-tensorflow')
  

• 按照报错提示，通过reticulate的安装函数在目标环境中安装pandas，安装完成后终端显示pandas-1.1.5已成功安装：

  reticulate::virtualenv_install("pandas", envname = "r-tensorflow")
  # 安装日志片段：
  # Installing collected packages: pandas
  # Successfully installed pandas-1.1.5
  

• 安装结束后再次验证pandas可用性，仍然返回不可用的结果：

  reticulate::py_module_available("pandas")
  # 输出：FALSE
  

• 验证同环境下其他Python模块的识别状态，scipy等模块可被正常识别，确认异常仅针对pandas：

  reticulate::py_module_available('scipy')
  # 输出：TRUE
  

问题根因与解决方案 #

这类单独pandas识别失败、其他模块正常的情况，核心原因几乎都是R会话的Python绑定状态残留，没有实际切换到目标虚拟环境，哪怕之前执行过环境激活操作也可能失效，可按如下步骤排查解决：

1. 先强制终止当前会话已经绑定的Python进程，清除残留状态

   reticulate::py_end_session(finalize = FALSE)
   

2. 重新强制绑定r-tensorflow虚拟环境的解释器，跳过自动识别的路径匹配

   use_virtualenv('r-tensorflow', required = TRUE)
   

3. 核查当前实际绑定的Python解释器路径，确认路径指向r-tensorflow虚拟环境目录下的可执行文件，而不是系统全局Python或者其他虚拟环境的Python

   reticulate::py_config()
   

   • 如果路径不对，直接手动指定虚拟环境对应的Python可执行文件路径完成绑定：

     # 将路径替换为本地r-tensorflow环境下的python实际路径
     use_python("~/.virtualenvs/r-tensorflow/bin/python", required = TRUE)
     

4. 再次验证pandas模块的可用性，此时应该可以正常识别

   reticulate::py_module_available("pandas")
   

• 补充注意事项：
  • 安装pandas时如果存在版本不兼容（比如当前虚拟环境的Python版本为3.10及以上，安装的pandas1.1.5为老旧版本无法导入），可通过参数跳过本地缓存的安装记录，重新安装适配当前Python版本的pandas：

    reticulate::virtualenv_install("pandas", envname = "r-tensorflow", ignore_installed = TRUE)
    

  • 不要在R会话激活状态下，通过系统终端手动给虚拟环境安装包，这种跨操作场景的安装很容易出现包路径与Reticulate识别路径不匹配的问题，所有虚拟环境内的包安装都通过R内部的reticulate安装函数执行。

内容的提问来源于stack exchange，提问作者Vasily A