最近更新时间:2023.11.27 14:22:05
首次发布时间:2021.09.01 17:27:34
在 Ranger 中,Spark 和 Hive 共用一套 policy 都是 HADOOP SQL -> default_hive,所以具体的配置可以直接参考 Hive集成。
已创建 E-MapReduce(EMR)包含 Ranger 服务的集群,操作详见:创建集群。
Ranger UI 的登录界面操作,详见:Ranger 概述---Ranger Admin UI 访问。
集群详情 -> 服务列表 -> Ranger 服务详情 -> 服务概述页面,点击启用 Spark Plugin 开关。
按照提示重启 Spark 服务后生效。
Spark的使用方法详见 EMR Spark 快速开始
# spark 3.x beeline -u jdbc:hive2://emr-master-1:10005 -n <user> -p <password> # spark 2.x spark-beeline -u jdbc:hive2://emr-master-1:10016 -n <username> -p <password>
说明
不同 EMR 版本中节点的域名命名方式可能不同,所以上方“emr-master-1”可参考 EMR 的域名规则做相应调整。