是否有支持转换为Delta Lake格式的CDAP/Data Fusion插件?
Data Fusion写入Delta格式到GCS的实现方案
这个需求已经有大量生产环境落地案例,也有官方可用的现成插件,不需要从零开发:
- 6.5及以上版本的Cloud Data Fusion已经在官方Hub中内置了Delta Lake连接器插件,直接在Hub中搜索
Delta即可安装使用,原生支持Delta 1.x、2.x版本的读写,不需要额外自行编译打包依赖。 - 配置写入目标时,存储路径直接填写
gs://<你的GCS桶名>/<Delta表存储路径>格式即可,权限直接复用Data Fusion运行时的服务账号,只要给对应服务账号开通GCS桶的读写权限即可正常写入。 - 如果需要使用Delta的ACID合并、schema演进、时间旅行等高级特性,可以在插件的「额外Spark配置」栏传入对应参数即可,比如要开启schema自动合并就添加配置
spark.databricks.delta.schema.autoMerge.enabled = true。
如果使用的是6.5以下的旧版本Data Fusion,也可以通过自定义Spark作业的方式实现:
- 打包对应版本的Delta依赖包,上传到Data Fusion的用户资源库,通过Data Fusion的Spark执行插件调用Delta API完成写入,只要保证Delta版本和集群的Spark版本兼容即可(比如Spark 3.3对应Delta 2.2版本)。
常见问题提示:如果运行时出现类冲突报错,优先开启插件的依赖隔离选项,不要重复上传Data Fusion集群已经内置的Spark依赖包,即可解决绝大多数冲突问题。
内容的提问来源于stack exchange,提问作者JeffKing54
相关产品推荐
相关产品推荐

