关于GCP Dataproc 2.1.18-debian11版本是否原生支持Delta Lake的咨询

• 明确结论：Dataproc 2.1.18-debian11版本原生支持Delta Lake，因为Dataproc 1.5及以上版本均默认集成Delta Lake，2.x系列完全覆盖该支持范围。
• jar包路径说明：2.x版本中Delta Lake的jar包路径已调整，不再位于/usr/lib/delta/jars，而是合并到Spark的jar目录下。你可以在/usr/lib/spark/jars/路径下查找名称类似delta-core_2.12-<具体版本号>.jar的文件，这就是对应的Delta核心jar包。
• 集群创建选项说明：Dataproc 2.x版本中Delta Lake已默认集成到Spark服务里，不再单独提供类似Jupyter Notebook的独立勾选选项，无需额外操作即可直接使用。

若要验证Delta Lake是否生效，可在集群的Spark Shell中执行以下测试命令：

import io.delta.tables._
val deltaTable = DeltaTable.forPath("<你的Delta表存储路径>")

能正常导入类并执行操作，即说明Delta Lake已正常生效。

内容的提问来源于stack exchange，提问作者steve