将AWS S3 Parquet文件导入SQL Server 2022时遇权限错误求助

问题分析 #

报错Cannot find the CREDENTIAL 's3_dc', because it does not exist or you do not have permission通常由凭证上下文错误、数据源配置不当、权限不足或密钥无效导致，以下是针对性解决方案：

1. 确保凭证与查询在同一数据库上下文 #

数据库范围凭证（DATABASE SCOPED CREDENTIAL）绑定到特定数据库，必须保证创建凭证、数据源和执行查询时处于同一个数据库中。修改代码，先指定目标数据库：

USE YourTargetDatabase; -- 替换为你实际使用的数据库名
GO

CREATE DATABASE SCOPED CREDENTIAL s3_dc
WITH IDENTITY = '你的AWS Access Key ID', -- 替换为真实的Access Key ID
     SECRET = '你的AWS Secret Access Key'; -- 替换为真实的Secret Access Key

CREATE EXTERNAL DATA SOURCE s3_ds 
WITH (LOCATION = 's3://buckett', -- 直接写S3桶名，格式为s3://<bucket-name>
      CREDENTIAL = s3_dc ); 
GO

SELECT *  
FROM OPENROWSET(BULK 'haz/data/data.parquet', -- 桶内的文件相对路径，无需带桶名
                FORMAT = 'PARQUET', 
                data_source = 's3_ds') AS [cc];

2. 修正S3数据源LOCATION格式 #

原代码中LOCATION = 's3://s3.amazonaws.com'不符合要求，正确格式应为s3://<你的桶名>，比如你的桶是buckett，就写s3://buckett，后续OPENROWSET中的路径仅需填写桶内的相对路径。

3. 替换凭证的IDENTITY和SECRET为真实密钥 #

不能使用占位符'IDENTITY'和'SECRET'，必须替换为拥有S3桶读取权限的AWS Access Key ID和Secret Access Key。同时确保该AWS账号对目标桶配置了s3:GetObject权限。

4. 检查SQL Server登录的权限 #

执行操作的登录账号需要具备以下权限：

• 创建凭证：ALTER ANY DATABASE SCOPED CREDENTIAL权限
• 创建外部数据源：ALTER ANY EXTERNAL DATA SOURCE权限
• 查询数据：SELECT权限
  普通账号需手动授权（替换为你的登录名）：

USE YourTargetDatabase;
GRANT ALTER ANY DATABASE SCOPED CREDENTIAL TO [YourLoginName];
GRANT ALTER ANY EXTERNAL DATA SOURCE TO [YourLoginName];
GRANT SELECT TO [YourLoginName];

5. 确认PolyBase配置生效 #

执行sp_configure启用PolyBase后，必须重启SQL Server服务以及PolyBase Engine和PolyBase Data Movement Service两个服务，确保配置完全生效。重启后验证配置：

exec sp_configure @configname = 'polybase enabled';

确认run_value列的值为1。

内容的提问来源于stack exchange，提问作者Hazem Mohamed