这不是Spark的正常默认行为，而是由于Spark History Server的默认追踪逻辑和日志配置限制导致的。下面我会拆解原因，并给出具体的解决办法：

核心原因 #

Spark History Server默认仅追踪**产生计算作业（即涉及RDD生成、shuffle、数据处理的任务）**的操作：

• SELECT语句会触发数据扫描和计算，因此会被当作作业记录；
• CREATE/DROP这类DDL语句属于元数据操作，不会生成计算作业，默认不被History Server追踪；
• INSERT INTO TABLE SELECT...语句中，SELECT部分是计算作业会被记录，但INSERT的写入操作属于作业完成后的元数据/存储写入动作，默认不会被单独追踪。

具体解决方法 #

1. 开启Spark SQL专用事件日志（推荐） #

通过配置Spark参数，让SQL的所有操作（包括DDL、完整的DML）都被记录到SQL事件日志中，后续可以通过Spark UI的SQL标签查看完整详情：

• 在spark-defaults.conf中添加以下配置：

  spark.sql.eventLog.enabled true
  spark.sql.eventLog.dir hdfs://your-cluster-path/spark-sql-events  # 或本地路径，如file:///path/to/events
  spark.sql.eventLog.rolling.enabled true  # 可选，开启日志滚动避免文件过大
  

配置生效后，所有SQL操作（CREATE、DROP、完整的INSERT语句）都会被记录到指定目录的日志文件中，在Spark UI的「SQL」页面可以看到每条SQL的完整文本和执行计划。

2. 调整Driver日志记录完整SQL语句 #

如果需要在Driver的日志中直接看到所有执行的SQL语句，可以修改Spark的日志配置文件（log4j.properties或log4j2.xml）：

• 对于log4j.properties，添加：

  log4j.logger.org.apache.spark.sql.execution.QueryExecution=INFO
  

这样Driver日志会输出每条SQL的完整文本，包括CREATE、DROP和INSERT INTO TABLE SELECT...的完整语句，方便直接排查。

3. 追踪INSERT写入阶段的细节（进阶） #

如果需要单独追踪INSERT的写入操作，可以通过以下方式：

• 开启spark.sql.sources.commitLog.enabled=true，这会记录数据源的提交日志，包含写入的目标表、行数等信息；
• 对于自定义数据源，也可以实现CommitProtocol来添加自定义的写入追踪逻辑，但这需要一定的开发工作。

验证方法 #

配置完成后，重新执行你的SQL语句：

• 访问Spark UI的「SQL」标签，查看是否有CREATE/DROP的记录，以及INSERT INTO语句的完整文本；
• 查看Driver日志或指定的SQL事件日志目录，确认所有操作都被完整记录。

内容的提问来源于stack exchange，提问作者Tomasz Krol