如何在使用aws s3 cp递归上传至AWS S3时设置字符集？

针对批量上传UTF-8文件到S3后，CloudFront渲染时因缺少字符集声明导致乱码的问题，可通过以下两种方式让aws s3 cp/aws s3 sync自动为文本类文件添加charset=utf-8到Content-Type元数据：

方法一：动态识别文件类型的Bash脚本（推荐，灵活适配所有文本类文件） #

适合Linux/Unix环境的CI流水线，通过file命令自动识别文件MIME类型，仅对文本类文件追加字符集：

#!/bin/bash

# 配置参数
S3_BUCKET="你的S3桶名"
LOCAL_DIR="./本地待上传目录"

# 递归遍历所有文件
find "$LOCAL_DIR" -type f | while read -r FILE; do
    # 获取文件相对路径（用于S3存储键）
    RELATIVE_PATH="${FILE#$LOCAL_DIR/}"
    # 获取基础MIME类型
    BASE_MIME=$(file --mime-type -b "$FILE")
    # 定义需要添加UTF-8字符集的MIME类型前缀
    TEXT_MIME_PREFIXES=("text/" "application/json" "application/javascript" "application/xml" "application/xhtml+xml")
    
    # 生成最终Content-Type
    CONTENT_TYPE="$BASE_MIME"
    for PREFIX in "${TEXT_MIME_PREFIXES[@]}"; do
        if [[ "$BASE_MIME" == "$PREFIX"* ]]; then
            CONTENT_TYPE="$BASE_MIME; charset=utf-8"
            break
        fi
    done
    
    # 上传文件并指定Content-Type
    aws s3 cp "$FILE" "s3://$S3_BUCKET/$RELATIVE_PATH" --content-type "$CONTENT_TYPE" --metadata-directive REPLACE
done

关键说明： #

• --metadata-directive REPLACE：强制覆盖S3中已存在文件的元数据，确保新的Content-Type生效
• file命令：自动识别文件真实MIME类型，比仅通过扩展名判断更准确
• 可根据需求扩展TEXT_MIME_PREFIXES数组，添加更多需要字符集的MIME类型

方法二：按扩展名批量指定Content-Type（适合文件类型固定场景） #

如果你的文件类型明确，可通过aws s3 sync分两次同步，分别处理文本类和非文本类文件：

# 同步文本类文件，指定带UTF-8字符集的Content-Type
aws s3 sync ./本地待上传目录 s3://你的S3桶名 \
    --include "*.txt" --include "*.html" --include "*.css" --include "*.js" --include "*.json" --include "*.xml" \
    --content-type "text/plain; charset=utf-8" \
    --metadata-directive REPLACE

# 同步其他文件，使用CLI默认的MIME类型推断
aws s3 sync ./本地待上传目录 s3://你的S3桶名 \
    --exclude "*.txt" --exclude "*.html" --exclude "*.css" --exclude "*.js" --exclude "*.json" --exclude "*.xml"

关键说明： #

• 需手动维护--include和--exclude中的扩展名列表，适合文件类型较少且固定的场景
• 文本类文件统一使用text/plain; charset=utf-8，也可针对不同扩展名单独指定（比如.html用text/html; charset=utf-8）

内容的提问来源于stack exchange，提问作者Philip Couling