Cloud Data Fusion 6.2.0创建计算配置无现有Dataproc选项问题问询
问题1:Cloud Data Fusion 6.2.0无现有Dataproc使用选项的原因及解决方法
- 该功能仅对企业版Cloud Data Fusion实例开放,基础版、开发版实例默认不支持该特性,请先确认你使用的实例版本符合要求。
- 若使用的是企业版实例仍看不到选项,是因为6.2.x版本该特性处于灰度发布阶段,需要手动给实例添加标签启用:
- 在云控制台找到对应Data Fusion实例,进入编辑页面
- 添加标签
enable.dataproc.provisioner=true,保存配置 - 重启实例后重新进入计算配置页面,即可看到使用现有Dataproc集群的选项
问题2:Remote Hadoop Provisioner报错的原因及解决方法
你遇到的是典型的Guava依赖版本冲突问题:Cloud Data Fusion 6.2.0内置依赖的Guava版本,和你目标Dataproc集群上Hadoop 3.2.2自带的Guava版本不兼容,导致方法签名匹配失败。
- 优先推荐你启用上述现有Dataproc特性后使用官方适配的连接方式,不需要自行处理依赖冲突。
- 若需要继续使用Remote Hadoop Provisioner,可在计算配置的
System Program Arguments中添加以下参数,调整类加载优先级:
--hadoop.conf.dir.classpath.first=io.cdap,org.apache.tephra,org.apache.tephra.hbase,co.cask.cdap,com.google.guava
内容的提问来源于stack exchange,提问作者Robert
相关产品推荐
相关产品推荐

