You need to enable JavaScript to run this app.
导航

Spark集成

最近更新时间2023.11.27 14:22:05

首次发布时间2021.09.01 17:27:34

在 Ranger 中,Spark 和 Hive 共用一套 policy 都是 HADOOP SQL -> default_hive,所以具体的配置可以直接参考 Hive集成

1 使用前提

  1. 已创建 E-MapReduce(EMR)包含 Ranger 服务的集群,操作详见:创建集群

  2. Ranger UI 的登录界面操作,详见:Ranger 概述---Ranger Admin UI 访问

2 启用 Ranger Spark Plugin

  1. 集群详情 -> 服务列表 -> Ranger 服务详情 -> 服务概述页面,点击启用 Spark Plugin 开关。

  2. 按照提示重启 Spark 服务后生效。

3 Beeline 访问

Spark的使用方法详见 EMR Spark 快速开始

# spark 3.x
beeline -u jdbc:hive2://emr-master-1:10005 -n <user> -p <password>

# spark 2.x
spark-beeline -u jdbc:hive2://emr-master-1:10016 -n <username> -p <password>

说明

不同 EMR 版本中节点的域名命名方式可能不同,所以上方“emr-master-1”可参考 EMR 的域名规则做相应调整。