使用Beeline连接Spark Thrift Server时Sentry配置加载失败，权限失效

从你提供的日志来看，核心问题是Spark Thrift Server（STS）没有加载到Sentry和用户身份模拟的关键配置，日志里明确的警告已经点明了根因：

18/05/31 17:59:05 WARN conf.HiveConf: HiveConf of name hive.sentry.conf.url does not exist
18/05/31 17:59:05 WARN conf.HiveConf: HiveConf of name hive.server2.enable.impersonation does not exist

这两个配置缺失直接导致Sentry的权限校验完全失效，下面是一步步的修复方案：

1. 确保Spark Thrift Server加载Hive的Sentry配置 #

STS默认不会自动复用Hive的安全配置，需要强制它加载Hive的配置文件和Sentry插件：

• 把Hive的hive-site.xml复制到Spark的conf目录下，或者启动STS时指定配置路径：

  spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 \
    --conf spark.sql.hive.metastore.sharedPrefixes=org.apache.hive,org.apache.sentry \
    --conf spark.driver.extraClassPath=/path/to/hive/lib/*:/path/to/sentry/lib/*
  

• 也可以在spark-defaults.conf中添加持久化配置，避免每次启动都重复输入：

  spark.sql.hive.metastore.sharedPrefixes=org.apache.hive,org.apache.sentry
  spark.driver.extraClassPath=/path/to/hive/lib/*:/path/to/sentry/lib/*
  spark.executor.extraClassPath=/path/to/hive/lib/*:/path/to/sentry/lib/*
  

2. 补全Hive-Sentry关键配置 #

在hive-site.xml中添加以下配置，确保Sentry和身份模拟功能正常启用：

<!-- 启用用户身份模拟：必须开启，否则STS会以启动用户身份跳过权限校验 -->
<property>
    <name>hive.server2.enable.impersonation</name>
    <value>true</value>
</property>
<property>
    <name>hive.server2.enable.doAs</name>
    <value>true</value>
</property>

<!-- 指定Sentry配置文件路径：指向你的sentry-site.xml所在位置 -->
<property>
    <name>hive.sentry.conf.url</name>
    <value>file:///etc/sentry/sentry-site.xml</value>
</property>

<!-- 启用Sentry作为权限校验管理器 -->
<property>
    <name>hive.security.authorization.manager</name>
    <value>org.apache.sentry.provider.db.DBAuthorizationProvider</value>
</property>
<property>
    <name>hive.security.authenticator.manager</name>
    <value>org.apache.hadoop.hive.ql.security.SessionStateAuthenticator</value>
</property>

注意：sentry-site.xml里需要配置Sentry的数据库连接信息（比如连接MySQL存储权限规则），确保这个文件存在且配置正确。

3. 验证Sentry权限规则配置 #

用Hive管理员账号（比如hive用户）通过Beeline登录，检查权限规则是否正确配置：

-- 示例：创建角色并给普通用户授权
CREATE ROLE data_reader;
GRANT SELECT ON DATABASE my_db TO ROLE data_reader;
GRANT ROLE data_reader TO USER test_user;

配置完成后，重启Spark Thrift Server和Sentry服务，让所有配置生效。

4. 替换Metastore数据库（可选但关键） #

日志里显示Metastore用的是DERBY嵌入式数据库，这只适合测试环境，生产环境必须改用MySQL/PostgreSQL：

• DERBY不支持多用户并发，会导致Sentry的权限规则无法正确同步，而且重启服务后权限数据可能丢失。
• 切换到MySQL后，确保Sentry和Hive都指向同一个Metastore数据库。

5. 测试权限控制效果 #

用普通用户test_user连接Spark Thrift Server，尝试访问未授权的表：

beeline -u jdbc:hive2://<sts-host>:10000 -n test_user -p <password>

如果Sentry生效，访问无权限的表会收到类似AuthorizationException: User test_user does not have privileges to access table的错误，这就说明权限控制已经正常工作了。

内容的提问来源于stack exchange，提问作者hu li