如何在Databricks Jobs/工作流中运行R脚本?仅支持Notebook中运行?
Databricks Workflows中运行R脚本的解决方案
Databricks Workflows的作业模块目前确实没有提供直接的“R脚本”任务选项,你看到的Python脚本是脚本任务的原生支持类型之一,但这不代表无法在Workflows中运行R代码,以下是可行的替代方案:
使用R Notebook作为作业任务
直接创建以R为默认语言的Notebook,将你的R代码写入其中,随后在Workflows中创建「Notebook类型」的作业即可执行。这种方式是Databricks官方推荐的R代码批量执行方式。封装现有R脚本到Notebook中
如果已有现成的R脚本文件(存储在DBFS或Unity Catalog卷中),可以在R Notebook里通过source()函数加载并执行脚本内容,示例代码:source("/dbfs/path/to/your/script.R")通过Spark Submit任务运行R脚本
若需要更接近独立脚本的执行方式,可在Workflows中创建「Spark Submit类型」的作业,指定R作为应用类型提交脚本。只需确保集群的Databricks Runtime预装了R环境(大部分标准Runtime都满足),示例参数配置可包含:--class org.apache.spark.deploy.SparkSubmit /dbfs/path/to/your/script.R
总结:Databricks对R的支持主要覆盖Notebook环境和Spark Submit模式,暂时没有提供直接的R脚本任务选项,但通过上述方法可以实现R代码在Workflows中的批量执行。
内容的提问来源于stack exchange,提问作者gaut
相关产品推荐
相关产品推荐

