Databricks环境R语言安装RWeka提示无该包如何解决

问题复现 #

触发报错信息：

Error in library(RWeka) : there is no package called ‘RWeka’

原执行代码存在明显语法问题：

install.packages('rJava')
install.packages('RWeka') code here # 行尾多余的code here会导致该行安装命令执行失效
library(rJava)
library(RWeka)

排查步骤&解决方案 #

按优先级从高到低排查：

• 首先修正代码语法错误，删掉安装命令后多余的无效字符，再按Databricks环境的要求配置安装路径与环境变量
  Databricks R环境默认包路径是临时目录，集群重启、worker节点调度时都会丢失包路径配置，且RWeka强依赖Java环境，默认环境变量未正确配置时rJava编译安装会直接失败，正确安装代码如下：

  # 1. 配置持久化包存储路径（集群重启后包不会丢失，所有节点可访问）
  dir.create("/dbfs/r_custom_libs", showWarnings = F, recursive = T)
  .libPaths(c("/dbfs/r_custom_libs", .libPaths()))
  
  # 2. 配置Java环境变量（Databricks节点默认Java路径）
  Sys.setenv(JAVA_HOME = "/usr/lib/jvm/default-java")
  
  # 3. 从源码编译安装依赖包rJava，避免二进制包版本兼容问题
  install.packages("rJava", type = "source")
  
  # 4. 安装RWeka及全量依赖
  install.packages("RWeka", type = "source", dependencies = T)
  

• 执行完安装后先验证包是否真的安装成功：运行"RWeka" %in% rownames(installed.packages())，返回TRUE才说明安装完成。如果返回FALSE，拉取install.packages执行时的完整日志排查安装失败原因，常见诱因：
  • JAVA_HOME路径配置错误：可以在notebook里跑system("which java", intern = T)拿到实际Java执行路径，回溯上级目录替换JAVA_HOME配置值即可
  • 路径权限不足：不要把包安装到系统级默认R库路径（需要root权限），用/dbfs/下自建的用户目录即可
  • R/Java版本不匹配：RWeka、rJava对Java 8/11兼容性最好，不要在集群上手动改装Java 17及以上版本，会触发ABI兼容错误
• 确认包已安装但加载失败时，先单独运行library(rJava)验证依赖是否正常：如果rJava加载报错，优先修复rJava问题，rJava正常运行后RWeka才能正常加载
• 如果是多worker节点的集群，不要仅在driver节点的notebook里跑安装代码，要把上述安装配置写到集群初始化脚本中，保证所有worker节点启动时都完成包安装与环境配置，避免任务调度到worker节点时触发找不到包的错误
• 最终验证代码：

  library(rJava)
  library(RWeka)
  # 调用RWeka内置函数验证可用性
  print(Weka_control())
  

内容的提问来源于stack exchange，提问作者ashtheinnocent