在Apache Zeppelin中运行独立Python脚本并传递Scala生成的CSV参数的方法

我来给你捋捋最直接的解决办法，在Zeppelin里跨段落调用Python脚本并传参数其实很简单，核心就是利用Zeppelin的跨语言上下文传递变量，再结合Python的subprocess模块调用外部脚本——如果你的脚本逻辑不算特别复杂，甚至可以直接把代码移到Zeppelin的Python段落里，省掉调用外部脚本的步骤。

方法一：调用独立Python脚本（适合脚本逻辑复杂、需要单独维护的情况） #

首先在生成CSV的Scala段落末尾，把CSV文件的路径列表存到Zeppelin的全局上下文里，这样后续的Python段落就能直接获取：

// 假设你已经生成了CSV文件，这里是它们的路径列表
val csvFilePaths = List("/data/output/file1.csv", "/data/output/file2.csv")
// 把路径用空格拼接成字符串，存入Zeppelin全局上下文
z.put("csvPaths", csvFilePaths.mkString(" "))

然后新建一个Python解释器的段落，用subprocess调用你的独立脚本，并传递CSV路径作为参数：

import subprocess
from zeppelin_context import z

# 从Zeppelin上下文取出之前存的CSV路径字符串
csv_paths = z.get("csvPaths")
# 替换成你的Python脚本实际路径
your_script_path = "/path/to/your/script.py"

# 调用脚本：把路径拆分成列表作为参数传递
run_result = subprocess.run(
    ["python3", your_script_path] + csv_paths.split(),
    capture_output=True,
    text=True
)

# 打印脚本的输出和错误信息，方便调试
print("脚本执行输出：")
print(run_result.stdout)
if run_result.stderr:
    print("错误信息：")
    print(run_result.stderr)

方法二：直接在Python段落中编写处理逻辑（最简方案，适合轻量任务） #

如果你的Python脚本逻辑不算复杂，完全可以把代码直接搬到Zeppelin的Python段落里，省去调用外部脚本的步骤，这样更简洁：

from zeppelin_context import z
import pandas as pd  # 如果需要处理CSV的话，确保Zeppelin的Python环境装了pandas

# 获取CSV路径列表
csv_paths = z.get("csvPaths").split()

# 遍历处理每个CSV文件
for path in csv_paths:
    print(f"开始处理文件：{path}")
    df = pd.read_csv(path)
    # 这里写你的处理逻辑，比如数据清洗、统计等
    print(df.describe())

注意事项 #

• 确保Zeppelin的Python解释器配置正确，需要的依赖（比如pandas）已经安装在Zeppelin使用的Python环境中；
• 如果是分布式环境（比如和Spark一起使用），CSV文件要存在所有节点都能访问的路径（比如HDFS、共享存储），或者确保Scala和Python段落运行在同一个节点（Zeppelin默认单节点部署的话没问题）；
• 要保证Zeppelin的运行用户对CSV文件和Python脚本有读写/执行权限。

内容的提问来源于stack exchange，提问作者Abu Shoeb