PySpark Client模式下driver_memory与executor_memory配置异常求助

• 检查方式有误：你大概率是验证时用了不完整的配置键。必须使用完整的spark.driver.memory而非driver.memory来获取配置值，在PyShell里正确的检查命令是：

  spark.conf.get("spark.driver.memory")
  # 或者
  sc.getConf().get("spark.driver.memory")
  

  要是直接用driver.memory，会因为键名不匹配返回None。

• 推荐更直接的命令写法：虽然--conf spark.driver.memory=6g合法，但PySpark有更直观的专用参数，建议改用：

  pyspark --driver-memory 6g --executor-memory 6g
  

  这种写法更清晰，也能避免配置键拼写或优先级带来的问题。

• 排查配置文件覆盖：如果你的spark-defaults.conf或spark-env.sh里已经设置了spark.driver.memory，可能会和命令行参数冲突。可以先检查这些配置文件，确认没有固定死driver内存值——正常情况下命令行参数优先级高于配置文件，但如果配置文件里的设置格式特殊，也可能出现异常。

内容的提问来源于stack exchange，提问作者Jade Chen