为什么单次Spark读取CSV操作在Spark UI中会显示两个Job?
问题原因解答
你遇到的单次加载操作对应两个Job的现象,是CSV读取配置与后续Action操作共同导致的,具体逻辑如下:
- 第一个Job由
inferSchema配置触发
你在读取CSV时开启了option("inferSchema", "true")参数,Spark需要实际扫描文件内容才能推断出每个列的字段类型,这一步会在执行load方法时直接触发第一个Job,该Job仅用于生成表结构元数据,不会加载全量业务数据。 - 第二个Job由
trades_df.rdd.numPartitions()调用触发numPartitions()属于RDD的Action算子,会触发Spark实际执行全量CSV文件的读取、转换逻辑,最终统计得到分区数量,因此会生成第二个Job。
分区数为1的说明
你加载的是单个仅包含2.4万条记录的小文件,体积远低于Spark默认的HDFS分片阈值(128MB),Spark不会对单个低于分片阈值的文件做拆分,因此最终生成的RDD仅有1个分区。
优化建议
如果希望减少不必要的Job,可以手动指定CSV的Schema结构,跳过自动推断的扫描步骤,示例代码如下:
from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType, DoubleType spark = SparkSession\ .builder\ .appName("DM")\ .getOrCreate() # 按照你的CSV实际字段定义Schema custom_schema = StructType() \ .add("order_id", IntegerType()) \ .add("trade_amount", DoubleType()) \ .add("user_id", StringType()) \ .add("trade_time", StringType()) trades_df = spark.read.format("csv")\ .option("header", "true")\ .schema(custom_schema)\ .load("s3://bucket/source.csv")
调整后load阶段不会触发额外Job,只有执行Action操作时才会生成一个Job。
内容的提问来源于stack exchange,提问作者user16344431
相关产品推荐
相关产品推荐

