运行pyspark时向Python解释器传递参数的环境变量是什么?
PySpark向Python解释器传参的对应环境变量
你要找的环境变量是PYSPARK_DRIVER_PYTHON_OPTS。
完整的调用命令示例如下:
$> PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="--pylab" pyspark
该变量的作用是向PySpark驱动侧的Python解释器传递自定义启动参数,除了示例中的--pylab外,你需要传入给解释器的其他启动参数都可以赋值给该变量生效。
内容的提问来源于stack exchange,提问作者Dave
相关产品推荐
相关产品推荐

