如何获取S3文本对象的内容编码以在Python中正确解码？

首先要明确：content_encoding属性和文件的字符编码是两回事——它指的是对象的传输压缩编码（比如gzip），并非文本本身的字符编码，所以它为None完全正常，不影响你解码文本内容。

关于解码方式的选择，按优先级来：

• 已知文件编码时直接指定：如果你确定文件是UTF-8编码，那原来的decode('utf-8')就没问题；如果是其他编码（比如GBK、ISO-8859-1），替换成对应的编码名称即可。
• 未知编码时自动检测：可以用chardet或cchardet这类库自动识别编码，适合不确定文件编码的场景，示例代码：

import boto3
import chardet

s3 = boto3.resource('s3')
s3_object = s3.Object('my-bucket', 'my-key')

# 小文件可直接读取全部内容检测编码
byte_content = s3_object.get()['Body'].read()
detected_encoding = chardet.detect(byte_content)['encoding']
# 解码后按行拆分内容
file_lines = byte_content.decode(detected_encoding).splitlines()

如果是大文件，不想一次性加载全部内容，可以用chardet的增量检测功能，逐块读取并更新检测结果。

• 规范做法：给S3对象添加元数据：上传文件到S3时，设置Content-Type元数据为text/plain; charset=utf-8（对应你的实际文件编码），之后在代码里可以从object.get()['ContentType']中解析出编码，示例：

import boto3

s3 = boto3.resource('s3')
s3_object = s3.Object('my-bucket', 'my-key')

content_type = s3_object.get()['ContentType']
# 从Content-Type中提取编码，默认用utf-8兜底
charset = content_type.split('charset=')[-1] if 'charset=' in content_type else 'utf-8'
file_lines = [line.decode(charset) for line in s3_object.get()['Body'].iter_lines()]

内容的提问来源于stack exchange，提问作者mherzog