使用AWS CLI向Amazon S3存储桶批量上传文件时保留元数据的问题咨询

首先明确：你遇到的不是aws s3 cp的bug，而是对--metadata-directive COPY参数的适用场景理解有误。这个参数仅在从S3到S3复制对象时生效，作用是复制源S3对象的元数据；当你从本地向S3上传文件时，这个参数没有实际效果——因为本地文件并没有S3格式的元数据可以复制。

接下来针对你的需求（批量上传10万+文件并保留创建/修改时间元数据），提供几种可行方案：

方案1：Shell脚本结合AWS CLI批量上传 #

通过Shell命令动态获取每个本地文件的修改（或创建）时间，再通过--metadata参数将其作为自定义元数据上传到S3。

示例（Bash环境）： #

#!/bin/bash
BUCKET_NAME="test-bucket"
SOURCE_DIR="/path/to/your/local/files"

# 遍历目录下所有文件
find "$SOURCE_DIR" -type f | while read -r FILE_PATH; do
    # 获取相对路径作为S3对象的Key（避免上传全路径）
    RELATIVE_PATH="${FILE_PATH#$SOURCE_DIR/}"
    
    # 获取文件修改时间（格式：YYYY-MM-DD HH:MM:SS，可根据需求调整）
    MODIFIED_DATE=$(stat -c "%y" "$FILE_PATH")
    
    # 上传并添加自定义元数据
    aws s3 cp "$FILE_PATH" "s3://$BUCKET_NAME/$RELATIVE_PATH" --metadata "date-modified=$MODIFIED_DATE"
done

注意：不同系统的stat命令语法不同。比如在macOS上，获取修改时间的命令应为：stat -f "%Sm" -t "%Y-%m-%d %H:%M:%S" "$FILE_PATH"

方案2：使用AWS SDK（推荐处理10万+文件） #

对于超大量文件，用SDK编写脚本（比如Python的boto3）会更灵活，还能轻松实现错误重试、进度追踪等功能。

示例（Python boto3脚本）： #

import boto3
import os
from datetime import datetime
from botocore.exceptions import ClientError

def upload_files_with_metadata(bucket_name, source_dir):
    s3 = boto3.client('s3')
    
    for root, _, files in os.walk(source_dir):
        for file in files:
            local_path = os.path.join(root, file)
            # 生成S3对象的相对路径Key
            s3_key = os.path.relpath(local_path, source_dir)
            
            try:
                # 获取文件修改时间（转换为ISO格式）
                modified_ts = os.path.getmtime(local_path)
                modified_date = datetime.fromtimestamp(modified_ts).isoformat()
                
                # 获取文件创建时间（仅部分Unix系统和Windows支持，按需启用）
                # created_ts = os.stat(local_path).st_birthtime
                # created_date = datetime.fromtimestamp(created_ts).isoformat()
                
                # 上传文件并添加自定义元数据
                with open(local_path, 'rb') as f:
                    s3.put_object(
                        Bucket=bucket_name,
                        Key=s3_key,
                        Body=f,
                        Metadata={
                            "date-modified": modified_date,
                            # "date-created": created_date  # 如需保留创建时间则启用
                        }
                    )
                print(f"Successfully uploaded: {s3_key}")
            except ClientError as e:
                print(f"Failed to upload {s3_key}: {e.response['Error']['Message']}")

if __name__ == "__main__":
    BUCKET = "test-bucket"
    SOURCE_DIR = "/path/to/your/local/files"
    upload_files_with_metadata(BUCKET, SOURCE_DIR)

方案3：使用AWS DataSync（适合大规模迁移） #

如果你的文件存储在本地服务器或NAS上，AWS DataSync是专门针对大规模数据迁移的服务，它可以自动保留文件的修改时间、权限等元数据到S3（需要在任务配置中开启“Preserve metadata”选项）。这种方式无需编写脚本，适合非开发人员操作。

后续注意事项 #

• S3对象的LastModified属性是上传时间，不是本地文件的修改/创建时间，因此必须通过自定义元数据（如date-modified）来存储原始时间，后续在客户网站展示时，读取这个自定义元数据进行排序即可。
• 对于10万+文件，建议分批次上传或添加并发处理逻辑（比如在Python脚本中使用线程池），以提升上传效率。

内容的提问来源于stack exchange，提问作者Evan Meredith-Davies