能否用spark-submit运行无PySpark的原生Python脚本？无需修改代码

直接用spark-submit运行：能跑，但无分布式效果 #

用spark-submit abc.py确实可以运行该脚本，但本质是在Spark的Driver节点单进程执行，和直接用python abc.py运行完全一致——Executor节点不会参与计算，完全无法借助Spark的分布式算力。

要利用分布式能力：编写外层PySpark脚本包装（无需修改abc.py） #

无需改动abc.py本身，只需写一个外层PySpark脚本，将abc.py的逻辑分发到Executor节点并行执行，核心步骤如下：

1. 确保所有节点可访问abc.py：要么把abc.py放到集群所有节点的相同文件路径下，要么在提交任务时通过--py-files abc.py参数将其作为依赖包上传，让每个Executor都能获取到该脚本。
2. 编写外层包装脚本：假设abc.py中包含可调用的处理函数（如process_data(item)），可以在包装脚本中通过Spark的分布式算子（如RDD.map()）拆分任务：

# wrapper.py 自定义外层脚本
from pyspark.sql import SparkSession
import abc  # 导入abc.py中的函数或模块

# 初始化Spark会话
spark = SparkSession.builder.appName("RunABCWithSpark").getOrCreate()

# 创建分布式数据集（实际可从文件、数据库等读取）
distributed_data = spark.sparkContext.parallelize([1, 2, 3, 4, 5])

# 将abc.py的逻辑分发到Executor节点并行执行
result = distributed_data.map(lambda x: abc.process_data(x))

# 触发计算并输出结果
print(result.collect())

spark.stop()

3. 提交运行：执行spark-submit --py-files abc.py wrapper.py，此时abc.py的逻辑会在多个Executor节点上并行运行，真正利用Spark的分布式算力。

特殊场景：若abc.py是独立可执行脚本 #

如果abc.py是直接运行的独立脚本（而非可导入的模块），可以在外层脚本中通过subprocess调用它，但需注意：

• 保证所有Executor节点的Python环境、依赖包与Driver节点一致；
• 脚本本身的逻辑需支持分片数据处理，否则分布式执行无法发挥作用。

内容的提问来源于stack exchange，提问作者itzmenamita