使用外部Hive元数据存储在Azure额外Blob存储创建/访问Hive表问题

看起来你遇到的核心问题是Hive元数据服务（Metastore）无法获取额外存储账户的访问密钥，导致在执行DDL操作（如创建表、添加分区）时出现认证失败。虽然你通过手动设置SimpleKeyProvider让Hive作业本身能读写数据，但Metastore服务没有拿到同样的密钥配置，所以在验证表存储路径时出错。下面是具体的排查和解决步骤：

问题根源分析 #

ADF的additionalLinkedServiceNames属性确实能给HDInsight集群的作业层传递额外存储账户的凭证，但HDInsight的Hive Metastore是独立运行的服务，它需要直接从集群的Hadoop配置中读取存储账户密钥。如果ADF没有正确把额外存储的密钥注入到集群的core-site.xml配置中，Metastore就无法访问该存储账户，从而在执行DDL操作时抛出签名错误。

正确的实现步骤 #

1. 确保额外存储账户的链接服务配置正确 #

首先检查你的额外存储账户链接服务：

• 类型必须是AzureStorage，认证方式选择AccountKey
• 确认存储账户密钥复制正确，没有多余空格或字符
• 存储账户区域与HDInsight集群一致（你已经满足这一点）

2. 正确配置HDInsight链接服务的additionalLinkedServiceNames #

在ADF的HDInsight按需集群链接服务中，确保额外存储的链接服务名称被添加到additionalLinkedServiceNames数组里。例如，通过DataFactoryManagementClient API配置时，对应的JSON片段应该类似：

{
  "type": "HDInsightOnDemand",
  "typeProperties": {
    "clusterSize": 4,
    "clusterType": "hadoop",
    "version": "3.6",
    "additionalLinkedServiceNames": ["YourAdditionalStorageLinkedServiceName"],
    // 其他配置...
  }
}

这一步是让ADF在创建按需集群时，自动将额外存储账户的密钥注入到集群的core-site.xml中，包括fs.azure.account.key.<storage-account>.blob.core.windows.net的配置项。

3. 移除手动设置的SimpleKeyProvider配置 #

你之前手动设置的fs.azure.account.keyprovider.<storage_name>.blob.core.windows.net是不必要的，HDInsight 3.6默认使用SimpleKeyProvider处理存储账户密钥，手动设置可能会干扰ADF的自动配置。请移除这个自定义配置，让ADF自动管理密钥提供器。

4. 验证Hive脚本的LOCATION路径 #

确保脚本中的LOCATION路径拼写完全正确：

LOCATION 'wasb://your-container@additionalstorage.blob.core.windows.net/example_table'

确认容器已存在，且存储账户的访问权限没有限制（比如防火墙规则允许HDInsight集群访问）。

5. 检查元数据存储的权限 #

确保用于Hive元数据的SQL Server数据库用户拥有足够的权限（比如db_owner或等效权限），能正常写入表的元数据信息。虽然这个问题不是直接原因，但权限不足可能会间接导致异常。

为什么之前的操作只解决了部分问题？ #

当你手动设置SimpleKeyProvider时，Hive作业进程能读取到密钥，所以可以执行简单的读写操作；但Hive Metastore服务运行在独立的进程中，它的配置没有被更新，仍然没有额外存储账户的密钥，因此在执行创建表这类需要验证存储路径的DDL操作时，就会抛出认证错误。

通过ADF的additionalLinkedServiceNames配置，ADF会自动将额外存储的密钥注入到整个集群的Hadoop配置中，包括Metastore服务使用的配置，这样Metastore就能正常访问额外存储账户了。

内容的提问来源于stack exchange，提问作者Simon Lehmann