如何生成并验证SigV4签名？S3请求Auth header手动生成匹配问题

以下是能正常调用S3 API的代码，它会自动生成正确的Authorization请求头：

import boto3
boto3.set_stream_logger(name='botocore')

s3 = boto3.resource(
    's3',
    aws_access_key_id="aws_access_key_id",
    aws_secret_access_key="aws_secret_access_key",
    region_name="us-east-1", # 需与endpoint匹配的区域名称
    endpoint_url="https://myendpoint" # URL中需包含你的命名空间
)  
# 打印所有存储桶名称
for bucket in s3.buckets.all():
    print(bucket.name)

当尝试手动生成Authorization头时，生成的结果与自动生成的不一致，以下是原有手动生成代码：

import boto3
from botocore.auth import SigV4Auth
from botocore.awsrequest import AWSRequest
from botocore.credentials import Credentials

headers = {
    'Host': 'hostname',
    'x-amz-date': '20240703'   
    }

# 初始化凭证和请求
credentials = Credentials('accesskey', 'secret=')
request = AWSRequest(method='GET', url='https://myendpoint/', headers=headers)

# 签名请求
SigV4Auth(credentials, 's3', 'us-east-1').add_auth(request)
print(request.headers)

关键问题修正及正确代码 #

要让手动生成的签名与自动生成的一致，需注意以下核心细节：

• x-amz-date格式必须为ISO8601标准：格式为YYYYMMDDTHHMMSSZ，自动生成的头会包含精确到秒的UTC时间，而非单纯日期。
• Host头需与endpoint主机名完全一致：比如endpoint是https://myendpoint，Host必须是myendpoint，不能使用占位符。
• 凭证信息完全匹配：access_key和secret_key要和自动调用时的完全相同，包括特殊字符、大小写。
• 补充x-amz-content-sha256头：S3的SigV4签名默认会包含该头，GET请求下值为UNSIGNED-PAYLOAD。
• 请求URL与实际调用一致：list buckets的URL固定为https://myendpoint/，需保持路径无偏差。

修正后的手动生成代码：

import boto3
from botocore.auth import SigV4Auth
from botocore.awsrequest import AWSRequest
from botocore.credentials import Credentials
from datetime import datetime, timezone

# 生成符合要求的UTC时间格式x-amz-date
current_time = datetime.now(timezone.utc).strftime('%Y%m%dT%H%M%SZ')

headers = {
    'Host': 'myendpoint',  # 与endpoint主机名完全一致
    'x-amz-date': current_time,
    'x-amz-content-sha256': 'UNSIGNED-PAYLOAD'  # S3 GET请求默认值
}

# 初始化与自动调用完全一致的凭证
credentials = Credentials('aws_access_key_id', 'aws_secret_access_key')
# 请求URL保持与自动调用一致
request = AWSRequest(method='GET', url='https://myendpoint/', headers=headers)

# 执行签名
SigV4Auth(credentials, 's3', 'us-east-1').add_auth(request)
print(request.headers)

验证方法 #

可以开启botocore日志（如第一个代码中的boto3.set_stream_logger(name='botocore')），查看自动生成请求头中的x-amz-date、Host、Authorization等字段，对比手动生成的结果，确保基础信息完全一致，即可保证签名匹配。

内容的提问来源于stack exchange，提问作者user1550159