Databricks启用Photon集群执行MERGE查询时的Photon使用判定疑问

你遇到的提示说明MERGE语句无法在解析阶段直接确定是否能被Photon加速，必须实际执行后才能验证。以下是几种直接确认的方法：

• 查看执行计划详情
  执行完MERGE查询后，在Databricks的查询结果页面找到执行计划模块，展开后如果看到带有Photon前缀的算子（例如PhotonMerge、PhotonProject），就代表该查询的对应阶段使用了Photon加速。

• 检查集群事件日志
  进入集群的事件日志页面，搜索包含Photon或photonized的日志条目，日志中会明确记录单个任务是否启用了Photon执行。

• 用Spark SQL命令验证
  执行以下命令查看全局Photon配置，并获取查询的详细执行计划：

  -- 确认Photon是否全局启用
  SET spark.databricks.photon.enabled;
  -- 获取MERGE语句的详细执行计划（替换为你的实际MERGE语句）
  EXPLAIN EXTENDED MERGE INTO target_table USING source_table ON target.id = source.id
  WHEN MATCHED THEN UPDATE SET *
  WHEN NOT MATCHED THEN INSERT *;
  

  在EXPLAIN EXTENDED的输出内容里，查找是否存在Photon相关的执行计划描述，以此判断查询是否使用了Photon。

你收到的提示原文：

== Photon Explanation ==
Commands are not directly photonized. They must be run to determine if they can be Photon-ized. If this message appears on an executed command, please check the next Job to ascertain if the resulting plan was Photon-ized.

内容的提问来源于stack exchange，提问作者DrGenius