使用Polybase从SQL Server读取S3存储桶文件失败

问题分析与解决方案 #

1. 修正外部数据源的LOCATION格式

你当前的LOCATION参数错误添加了端口:1443，S3的Polybase数据源LOCATION不需要指定端口，正确格式应为s3://<bucket-name>或带文件前缀的路径（如s3://<bucket-name>/folder-path/）。

修正后的创建语句：

CREATE EXTERNAL DATA SOURCE s3_ds
WITH
(   LOCATION = 's3://your-actual-bucket-name' -- 替换为你的存储桶名称，可追加子路径
,   CREDENTIAL = s3_dc
);
GO

2. 验证S3路径与文件存在性

• S3路径大小写敏感，确保外部表定义的文件路径与S3上的实际路径完全匹配（包括文件夹、文件名的大小写）
• 确认目标路径下确实存在CSV/TXT文件，没有拼写错误或路径层级错误

3. 检查AWS凭据权限

确认你创建的范围凭据对应的AWS IAM用户拥有以下权限：

• s3:ListBucket：允许列出存储桶内的对象，确保Polybase能发现文件
• s3:GetObject：允许读取目标文件内容
  权限策略需覆盖目标存储桶及对应的文件路径

4. 核对外部表定义

如果已创建外部表，确保外部表的LOCATION参数是外部数据源下的相对路径，例如：

CREATE EXTERNAL TABLE dbo.s3_csv_data
(
    col1 INT,
    col2 VARCHAR(50)
)
WITH
(
    LOCATION = '/data-files/', -- 对应S3上s3://your-bucket/data-files/路径
    DATA_SOURCE = s3_ds,
    FILE_FORMAT = your_csv_file_format -- 需提前创建对应的文件格式
);
GO

5. 排除文件占用可能性

S3对象存储本身不会出现文件被占用的情况，若仍报错，可尝试：

• 重新上传文件到S3，确保文件没有损坏
• 临时更换一个测试文件进行查询验证

内容的提问来源于stack exchange，提问作者steviemac2000