WebHDFS认证配置咨询：基础认证可行性与简易Kerberos/OAuth2搭建方法

一、能否配置HTTP基础认证？ #

WebHDFS原生确实不支持HTTP基础认证，但可以通过**反向代理（如Nginx）**在请求到达WebHDFS之前添加基础认证层，完全满足你的测试需求。具体步骤如下：

1. 安装并配置Nginx作为反向代理，指向你的WebHDFS服务地址（比如http://hdfs-host:50070）
2. 开启Nginx的SSL支持，配置你的自签名证书路径
3. 添加基础认证配置：
   • 用htpasswd工具创建密码文件：htpasswd -c /etc/nginx/.htpasswd testuser，设置用户名和密码
   • 在Nginx的server块中加入：

     auth_basic "WebHDFS Protected Area";
     auth_basic_user_file /etc/nginx/.htpasswd;
     

4. 重启Nginx，之后用户访问Nginx的SSL端口时，就需要输入用户名密码完成基础认证，请求会被转发到WebHDFS。

二、快速搭建Kerberos服务器（测试环境） #

如果必须用WebHDFS原生支持的Kerberos，测试环境可以用MIT Kerberos快速搭建：

1. 安装Kerberos服务端包（以CentOS为例）：yum install krb5-server krb5-libs krb5-workstation
2. 修改/etc/krb5.conf配置文件，设置默认realm（比如TEST.COM），并指定KDC和admin服务器地址为本地
3. 创建KDC数据库：kdb5_util create -s，设置数据库密码
4. 启动Kerberos服务：systemctl start krb5kdc kadmin，并设置开机自启
5. 创建管理员主体：kadmin.local -q "addprinc admin/admin@TEST.COM"
6. 创建WebHDFS服务主体：kadmin.local -q "addprinc -randkey hdfs/your-hdfs-host@TEST.COM"，导出keytab文件：kadmin.local -q "ktadd -k /etc/hadoop/hdfs.keytab hdfs/your-hdfs-host@TEST.COM"
7. 修改Hadoop配置文件（core-site.xml、hdfs-site.xml），开启Kerberos认证，配置相关参数（比如hadoop.security.authentication设为kerberos，指定keytab路径和服务主体）
8. 重启HDFS服务，之后用户需要获取Kerberos票据（kinit testuser@TEST.COM）才能访问WebHDFS。

三、快速搭建OAuth2服务器（测试环境） #

用Keycloak可以快速搭建OAuth2服务，Docker方式最便捷：

1. 启动Keycloak容器：docker run -p 8080:8080 -e KEYCLOAK_ADMIN=admin -e KEYCLOAK_ADMIN_PASSWORD=admin quay.io/keycloak/keycloak:latest start-dev
2. 访问http://localhost:8080登录后台，创建一个新的realm（比如hdfs-realm）
3. 在realm中创建用户（比如testuser），设置密码
4. 创建客户端，客户端类型选择confidential，根URL设为WebHDFS的地址，开启Authorization Code授权模式
5. 修改Hadoop配置文件，开启OAuth2认证：在core-site.xml中设置hadoop.security.authentication为oauth2，配置hadoop.oauth2.client.id、hadoop.oauth2.client.secret、hadoop.oauth2.token.endpoint.url等参数（对应Keycloak的token地址）
6. 重启HDFS服务，之后用户需要先从Keycloak获取access token，在WebHDFS请求的Authorization头中携带Bearer <token>即可访问。

内容的提问来源于stack exchange，提问作者Ufder