spark-submit执行Python脚本无输出问题求助

问题详情 #

执行Spark任务提交命令后无任何输出，提交命令如下：

spark-submit C:\Users\HP\Documents\PythonScripts\spark_practice.py

运行截图显示：命令执行后立即回到命令行提示符，无Spark初始化日志、任务执行日志或自定义输出内容。

排查与解决步骤 #

• 检查脚本执行逻辑：确认spark_practice.py中包含触发执行的代码，比如对DataFrame调用show()、collect()，或者使用print()输出内容。如果仅定义了转换操作（如map、filter）而未触发动作，Spark任务会静默完成，不会产生输出。
• 查看Spark日志文件：Spark默认会将日志写入安装目录下的logs文件夹（Windows系统路径通常为{SPARK_HOME}\logs），检查日志文件中是否存在报错信息，比如依赖缺失、Python环境不兼容、权限不足等。
• 验证Spark环境有效性：执行spark-submit --version命令，确认Spark环境能正常响应，同时检查Python版本是否符合当前Spark版本的要求（如Spark 3.x通常要求Python 3.6+）。
• 启用详细日志输出：提交任务时添加日志级别配置，强制输出更多调试信息：

  spark-submit --conf spark.log.level=INFO --master local[*] C:\Users\HP\Documents\PythonScripts\spark_practice.py
  

  加上--master local[*]强制使用本地模式运行，排除集群调度的问题。
• 测试最小化脚本：创建一个简单的测试脚本test_spark.py，内容如下，用同样的命令提交，验证是否能正常输出：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("Test").getOrCreate()
  print("Spark session created successfully")
  df = spark.createDataFrame([(1, "test")], ["id", "value"])
  df.show()
  spark.stop()
  

内容的提问来源于stack exchange，提问作者Avitab Ayan Sarmah