使用AWS S3迁移EMR stdout日志文件时出现编码乱码问题求助

你遇到的核心问题是：aws s3 cp复制时仅修改了文件扩展名，但目标S3桶里的stdout.txt本质仍是gzip压缩的二进制数据。手动下载时（比如浏览器）会识别S3对象的元数据或文件特征自动解压，所以记事本显示正常；但aws s3 sync会原封不动下载二进制压缩内容，记事本无法解析就显示乱码。添加--content-encoding gzip和--content-type text/plain只是修改了元数据，并未改变对象的实际内容，因此无法解决乱码问题。

方案1：修正源复制操作，上传真正的文本文件 #

在Linux环境复制时，先解压gzip文件再上传到目标桶，确保目标对象是纯文本：

aws s3 cp s3://source_bucket/stdout.gz - | gunzip | aws s3 cp - s3://target_bucket/stdout.txt --content-type text/plain --content-encoding ''

处理后，目标桶里的stdout.txt就是解压后的纯文本，之后无论用aws s3 sync还是手动下载，记事本打开都能正常显示。

方案2：下载时自动解压（适用于已存在的目标对象） #

如果不想修改S3中的文件，可在Windows命令提示符中用PowerShell配合解压逻辑下载：

aws s3 cp s3://target_bucket/stdout.txt - | powershell -command "$gzipStream = New-Object System.IO.Compression.GzipStream($input, [System.IO.Compression.CompressionMode]::Decompress); $streamReader = New-Object System.IO.StreamReader($gzipStream, [System.Text.Encoding]::UTF8); $streamReader.ReadToEnd() | Out-File 'c:\myfolder\stdout.txt' -Encoding UTF8"

这条命令会在下载过程中解压gzip内容，并以UTF-8编码保存到本地，适配Windows记事本的编码要求。

可先检查目标S3对象的实际类型，确认是否为压缩文件：

# 在Linux环境执行
aws s3 cp s3://target_bucket/stdout.txt - | file -

如果输出包含gzip compressed data，说明对象确实是压缩格式，需要解压处理。

内容的提问来源于stack exchange，提问作者Dozel