Databricks集群安装R包prophet替代笔记本安装及init脚本报错问题

失败根因 #

• 初始化环境缺失前置依赖：你编写的R安装脚本用到remotes、devtools两个工具包，Databricks默认干净R环境无预装，执行时直接报错退出
• 未指定CRAN镜像：集群初始化阶段R未配置默认包安装源，调用install.packages时会因找不到源终止
• 缺少系统级编译依赖：部分Databricks Runtime版本缺少V8、R包编译所需的底层系统组件

修正后的配置步骤 #

步骤1：创建存储路径（原有逻辑可保留） #

%python
dbutils.fs.mkdirs("dbfs:/databricks/scripts/")

步骤2：写入修正后的R安装脚本 #

新增前置依赖安装、CRAN源配置逻辑：

%python
dbutils.fs.put("/databricks/scripts/prophet_install_script.R","""
# 配置CRAN镜像
options(repos = c(CRAN = "https://mirrors.tuna.tsinghua.edu.cn/CRAN/"))
# 先安装前置工具包
install.packages(c("remotes", "devtools"))
Sys.setenv(DOWNLOAD_STATIC_LIBV8 = 1)
remotes::install_github("jeroen/V8")
devtools::install_version("rstantools", version = "2.0.0")
install.packages('prophet')
""", True)

步骤3：写入修正后的集群初始化shell脚本 #

新增系统依赖安装、日志输出逻辑：

%python
dbutils.fs.put("/databricks/scripts/stock_cluster_init_script_v1.sh","""
#!/bin/bash
# 安装系统级编译依赖
apt-get update && apt-get install -y --no-install-recommends \
    libcurl4-openssl-dev \
    libssl-dev \
    libxml2-dev
# 执行R安装脚本，输出日志到本地便于排查问题
R CMD BATCH /dbfs/databricks/scripts/prophet_install_script.R /var/log/prophet_install.log
""", True)

额外注意事项 #

• 集群Runtime请选择支持R的版本，不要使用仅Python的精简Runtime
• 若依然启动失败，可进入集群节点查看/var/log/prophet_install.log日志定位具体报错

内容的提问来源于stack exchange，提问作者Nick Knauer