如何在VM本地Spark环境中运行导出的Databricks Notebook（无需Jupyter）
2026-8-8
无需Jupyter，在本地Spark环境运行Databricks导出的Notebook的方法
直接通过Spark CLI运行纯代码脚本
如果导出的Notebook是Scala、Python或R的纯代码格式（比如导出为.py/.scala/.r文件），可以直接用Spark的原生命令提交运行：- Python脚本：
spark-submit your_exported_notebook.py - Scala脚本：可通过
spark-shell -i your_exported_notebook.scala交互式执行，或者将代码整理为可提交的程序后用spark-submit运行（需先编译为Jar包的场景除外） - R脚本：
sparkR your_exported_notebook.r
注意：需要手动适配Databricks专属语法，比如将%run魔法命令替换为本地脚本导入，把dbfs:/路径改为本地文件系统或HDFS路径（若你的Spark集群已配置）。
- Python脚本：
转换IPyNotebook格式为纯脚本（无需启动Jupyter服务）
如果导出的是.ipynb格式，可使用nbconvert工具将其转换为纯代码脚本，无需启动Jupyter Notebook服务：- 安装依赖：
pip install nbconvert - 转换命令：
jupyter nbconvert --to script your_notebook.ipynb - 用Spark CLI运行转换后的脚本，比如
spark-submit your_notebook.py
- 安装依赖：
通过Spark交互式Shell分步执行
启动对应语言的Spark交互式Shell：pyspark（Python）、spark-shell（Scala）或sparkR（R），将Notebook中的代码逐段粘贴到Shell中执行，适合调试或分步验证逻辑。
内容的提问来源于stack exchange，提问作者Kaja
相关产品推荐
相关产品推荐
