从AWS SecretsManager获取压缩二进制秘钥遇UTF-8解码错误,如何修复?
问题:从AWS Secrets Manager读取二进制压缩秘钥时解码失败
我的token文件过长,无法直接从AWS Secrets Manager获取内容,于是将文件压缩后以二进制形式存储,但获取秘钥时遇到错误:
'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
原代码错误点
原代码中尝试将二进制压缩数据解码为UTF-8字符串,这是核心错误——压缩包属于二进制字节流,并非合法的UTF-8文本,强行解码会破坏数据结构:
response = client.get_secret_value(SecretId='ac-demo-ms-graph-binary')['SecretBinary'] # 错误:二进制压缩数据不能转UTF-8字符串 with tarfile.open(fileobj=response.decode('utf-8'), mode='r') as cf: cf.extractall("token.cache.decompressed")
修复后的代码
使用io.BytesIO将二进制数据包装成类文件对象,直接传递给tarfile.open,并指定正确的压缩模式r:gz,即可正确读取解压内容:
import tarfile import io import boto3 client=boto3.client('secretsmanager') with tarfile.open('token.cache.tar.gz', "w:gz") as tar: tar.add('token.cache') bts = open('token.cache.tar.gz','rb').read() print("Length before",len(bts)) sec=client.update_secret(SecretId="ac-demo-ms-graph", SecretBinary=bts) sec=client.get_secret_value(SecretId="ac-demo-ms-graph")['SecretBinary'] print("Length after",len(sec)) # 用BytesIO包装二进制数据,直接供tarfile读取 with tarfile.open(fileobj=io.BytesIO(sec), mode='r:gz') as t: d=t.extractfile('token.cache') # 打印文件内容 print("File content",str(d.read()))
内容的提问来源于stack exchange,提问作者RunRabbit
相关产品推荐
相关产品推荐

