Python读取S3下载的CSV文件时开头出现多余字节的问题排查

嗨，这个问题我之前也碰到过！你看到的那些奇怪的二进制前缀b'u\xabZj\x9ae...'，大概率是因为你下载的内容是gzip压缩后的数据流，而urllib.request默认不会自动帮你解压这类压缩内容。

咱们先理清楚原因：从Windows上传文件到AWS S3后，要么是S3的桶设置（比如静态网站托管）自动开启了gzip压缩，要么是上传工具悄悄给文件做了压缩，导致你通过urllib请求时，拿到的是原始压缩二进制数据，而非明文CSV。

下面给你两种实用的解决思路：

方法一：手动检测并解压gzip内容 #

直接在代码里判断响应头，针对性处理压缩内容：

import urllib.request
import gzip

file_url = "你的S3文件URL"
filetemp = urllib.request.urlopen(file_url)

# 读取响应头里的编码标识
content_encoding = filetemp.info().get("Content-Encoding")

if content_encoding == "gzip":
    # 如果是gzip压缩格式，就解压二进制内容
    content = gzip.decompress(filetemp.read())
else:
    content = filetemp.read()

# 最后把二进制内容解码成文本（根据你的CSV实际编码调整，比如utf-8、gbk）
csv_text = content.decode("utf-8")
print(csv_text[:100]) # 打印开头部分验证是否正常

方法二：用更省心的请求库自动处理压缩 #

如果不想手动写解压逻辑，换用requests库会更省事——它默认会自动识别并解压gzip、deflate等压缩格式：

import requests

file_url = "你的S3文件URL"
response = requests.get(file_url)
# requests已经自动完成了解压，直接获取明文文本
csv_text = response.text
print(csv_text[:100])

额外排查小技巧 #

要是上面的方法都没解决问题，你可以做这两步检查：

• 直接从S3控制台下载文件到本地，打开看看开头是否正常。如果本地打开也乱码，那说明上传时文件本身就损坏或者编码不匹配。
• 检查S3桶的设置：如果开启了静态网站托管，看看是否强制开启了gzip压缩，必要的话可以关闭该选项。

内容的提问来源于stack exchange，提问作者Marko