如何在AWS EMR集群上配置Spark-Thrift服务器的LDAP认证？

我之前在AWS EMR上配置过Spark Thrift Server的LDAP认证，刚好能帮到你！以下是具体的配置步骤和注意事项：

1. 定位并修改Spark核心配置文件 #

在EMR集群中，Spark Thrift Server的配置通常集中在/etc/spark/conf/spark-defaults.conf（如果是自定义部署的Spark，路径可能在你指定的conf目录下）。你需要在这个文件中添加LDAP认证相关的配置项：

• spark.sql.thriftServer.authentication：设置为LDAP，明确开启LDAP认证模式
• spark.sql.thriftServer.authentication.ldap.url：你的LDAP服务器地址，比如普通连接的ldap://your-ldap-host:389或SSL加密的ldaps://your-ldap-host:636
• spark.sql.thriftServer.authentication.ldap.bindDN（可选）：如果LDAP需要服务账号绑定才能验证用户，这里填写绑定账号的DN，比如cn=spark-service,dc=your-domain,dc=com
• spark.sql.thriftServer.authentication.ldap.bindPassword（可选）：对应绑定账号的密码
• spark.sql.thriftServer.authentication.ldap.userSearchBase：用户搜索的基础DN，比如ou=company-users,dc=your-domain,dc=com
• spark.sql.thriftServer.authentication.ldap.userSearchFilter：用户匹配规则，比如(uid={0})，其中{0}会被客户端传入的用户名自动替换

给你一个实际配置的示例：

spark.sql.thriftServer.authentication LDAP
spark.sql.thriftServer.authentication.ldap.url ldap://ldap.your-company.com:389
spark.sql.thriftServer.authentication.ldap.bindDN cn=spark-auth-service,dc=your-company,dc=com
spark.sql.thriftServer.authentication.ldap.bindPassword your-service-account-password
spark.sql.thriftServer.authentication.ldap.userSearchBase ou=employees,dc=your-company,dc=com
spark.sql.thriftServer.authentication.ldap.userSearchFilter (uid={0})

2. 重启Spark Thrift Server使配置生效 #

修改完配置后，需要重启服务才能让新的认证规则生效。在EMR上可以用以下命令操作：

sudo stop spark-thriftserver
sudo start spark-thriftserver

如果你的EMR集群用systemd管理服务，也可以用：

sudo systemctl restart spark-thriftserver

3. 验证LDAP认证是否正常工作 #

用beeline客户端测试连接，命令格式如下：

beeline -u "jdbc:hive2://<EMR-master-node-ip>:10000/default;auth=LDAP" -n <your-ldap-username> -p <your-ldap-password>

如果能成功连接并执行查询，说明认证配置生效；如果失败，可以去/var/log/spark/目录下查看Thrift Server的日志文件，排查LDAP连接、账号匹配等问题。

额外注意事项 #

• 如果使用LDAPS加密连接，需要确保EMR节点信任LDAP服务器的SSL证书。可以把证书导入Java信任库：

  sudo keytool -importcert -file /path/to/ldap-cert.crt -alias ldap-server-cert -keystore $JAVA_HOME/jre/lib/security/cacerts
  

  默认信任库密码是changeit。
• 部分旧版本的Spark Thrift Server可能兼容HiveServer2的配置项（比如hive.server2.authentication开头的属性），如果上面的Spark专属配置不生效，可以尝试混用这类属性。
• 检查EMR节点的安全组规则，确保允许访问LDAP服务器的对应端口（389或636），避免因网络不通导致认证失败。

内容的提问来源于stack exchange，提问作者Kumar Vaibhav