已在Hadoop集群配置Spark,请求解析SparkPi示例任务提交命令
这条Spark任务提交命令的逐段解析
首先看完整命令:
spark-submit --deploy-mode client --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 10
下面拆解每个部分的含义:
spark-submit:Spark官方提供的统一任务提交工具,帮你搞定Spark应用的依赖加载、集群资源申请、运行环境配置这些杂事,不管是本地还是集群模式,都靠它提交任务。--deploy-mode client:指定应用的部署模式为client模式。简单说,负责调度整个任务的Driver进程会跑在你输入这条命令的本地机器上,任务日志会直接输出在当前控制台,适合调试阶段使用。--class org.apache.spark.examples.SparkPi:指定要运行的Spark应用的主类全限定名,这里就是Spark自带的用来计算圆周率π的示例类。$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar:包含上述SparkPi类的Jar包路径。其中$SPARK_HOME是你Spark安装目录的环境变量,2.11是编译该Jar包使用的Scala版本,2.4.0是对应的Spark版本号。10:传给SparkPi主类的运行参数,用来指定计算π时使用的样本数量,数值越大,计算出的π值精度越高。
内容的提问来源于stack exchange,提问作者Salva
相关产品推荐
相关产品推荐

