hadoop-azure能否配置Active Directory认证访问Azure Blob存储？

问题根因 #

你之前使用的是ADLS Gen2专属ABFS协议的OAuth配置项，原生hadoop-azure模块的wasb/wasbs协议（对应普通Blob存储）默认仅支持共享密钥、SAS两种认证方式，低版本Hadoop没有直接开放Azure AD认证的标准配置入口，所以你套用ABFS的配置不生效。

方案一：改用ABFS协议（推荐，改动最小） #

如果你的存储账号可以启用层级命名空间（即ADLS Gen2能力），直接调整配置和访问协议即可，原有Blob数据完全兼容无需迁移：

1. 存储账号后台开启「层级命名空间」功能
2. 修改资源访问URI，将wasbs://<容器名>@<存储名>.blob.core.windows.net/xxx改为abfss://<容器名>@<存储名>.dfs.core.windows.net/xxx
3. 调整配置的域名后缀：

hadoopConfig.set("fs.azure.account.auth.type", "OAuth");
hadoopConfig.set("fs.azure.account.oauth.provider.type.<storageName>.dfs.core.windows.net", "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider");
hadoopConfig.set("fs.azure.account.oauth2.client.id.<storageName>.dfs.core.windows.net", clientId);
hadoopConfig.set("fs.azure.account.oauth2.client.secret.<storageName>.dfs.core.windows.net", clientSecret);
hadoopConfig.set("fs.azure.account.oauth2.client.endpoint.<storageName>.dfs.core.windows.net", "https://login.microsoftonline.com/" + tenantId + "/oauth2/token");

4. 确保服务主体（对应clientId）已被分配存储账号的「存储Blob数据读取者」或更高权限的RBAC角色。

方案二：保留wasb协议，适配OAuth配置 #

如果无法改动存储账号，根据你使用的Hadoop版本选择对应方式：

适用Hadoop 3.3.4及以上版本 #

该版本开始hadoop-azure原生支持wasb协议的OAuth认证，直接替换配置项即可：

// 指定认证类型为OAuth
hadoopConfig.set("fs.azure.account.auth.type.<storageName>.blob.core.windows.net", "OAuth");
// 配置wasb专用的客户端凭证令牌提供者
hadoopConfig.set("fs.azure.account.oauth2.token.provider.type.<storageName>.blob.core.windows.net", "org.apache.hadoop.fs.azure.ClientCredsOAuthTokenProvider");
// 客户端、租户配置和原有逻辑一致
hadoopConfig.set("fs.azure.account.oauth2.client.id.<storageName>.blob.core.windows.net", clientId);
hadoopConfig.set("fs.azure.account.oauth2.client.secret.<storageName>.blob.core.windows.net", clientSecret);
hadoopConfig.set("fs.azure.account.oauth2.client.endpoint.<storageName>.blob.core.windows.net", "https://login.microsoftonline.com/" + tenantId + "/oauth2/token");
// 指定令牌受众为Azure存储服务
hadoopConfig.set("fs.azure.account.oauth2.token.audience.<storageName>.blob.core.windows.net", "https://storage.azure.com");

适用Hadoop 3.3.4以下版本 #

需要自定义实现org.apache.hadoop.fs.azure.OAuthTokenProvider接口，在实现类中调用org.apache.hadoop.fs.azurebfs.oauth2.AzureADAuthenticator获取Azure AD令牌：

public class CustomADTokenProvider implements OAuthTokenProvider {
    @Override
    public String getToken(Configuration conf, String accountName) throws IOException {
        String clientId = conf.get("fs.azure.account.oauth2.client.id." + accountName + ".blob.core.windows.net");
        String clientSecret = conf.get("fs.azure.account.oauth2.client.secret." + accountName + ".blob.core.windows.net");
        String endpoint = conf.get("fs.azure.account.oauth2.client.endpoint." + accountName + ".blob.core.windows.net");
        try {
            return AzureADAuthenticator.getTokenUsingClientCreds(endpoint, clientId, clientSecret, "https://storage.azure.com").getAccessToken();
        } catch (AzureADAuthenticator.AzureADAuthenticatorException e) {
            throw new IOException("获取AD令牌失败", e);
        }
    }
}

之后在配置中指定你自定义的令牌提供者即可：

hadoopConfig.set("fs.azure.account.auth.type.<storageName>.blob.core.windows.net", "OAuth");
hadoopConfig.set("fs.azure.account.oauth2.token.provider.type.<storageName>.blob.core.windows.net", "你自定义类的全限定名");
// 其余clientId、clientSecret、endpoint配置和3.3.4+版本一致

注意事项 #

无论使用哪种方案，都需要确保你使用的服务主体（clientId对应的应用）已在存储账号的IAM配置中分配了存储Blob数据相关的RBAC角色，仅分配Azure资源层面的Contributor角色无法访问Blob数据。

内容的提问来源于stack exchange，提问作者Limmy