使用boto3从AWS S3读取含特殊字符的CSV文件报错如何解决?
问题解决方法
核心问题原因
你代码的核心错误是IO对象使用和数据类型不匹配:
- 你已经通过
decode('utf-16')把S3返回的字节流转成了字符串类型,io.BytesIO仅支持接收字节类型输入,你传入字符串会触发类型错误,这是你用io.StringIO报错、换BytesIO后数据异常的根本原因 - 你换
BytesIO后仍能运行但仅展示一列,大概率是编码识别异常导致分隔符没有被正常解析
可行解决步骤
方案1:使用StringIO承载解码后的字符串(推荐)
直接用你解码后的字符串配合io.StringIO,同时补充CSV特殊字符适配参数,修正后代码如下:
import pandas as pd import boto3 import io import csv s3 = boto3.resource('s3', aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_SECRET_ACCESS_KEY) my_bucket = s3.Bucket(AWS_S3_BUCKET) # 读取S3对象并解码为utf-16字符串 csv_content = my_bucket.Object(key=key).get()['Body'].read().decode('utf-16') # 用StringIO承载字符串,适配pandas读取接口 data = io.StringIO(csv_content) # 读取CSV,补充特殊字符适配参数 sdf = pd.read_csv( data, delimiter=',', # 确保这里是你实际的分隔符,不要用未定义的sep变量 names=['Name', 'Adress/1', 'Adress/2', 'City', 'State'], # 直接指定列名避免cols变量错误 header=None, skiprows=1, quoting=csv.QUOTE_MINIMAL, # 识别被引号包裹的含特殊字符的字段 quotechar='"', # 指定字段包裹符,和你CSV实际使用的符号一致 engine='c' # 默认c引擎性能更高,若仍有异常可切换为'python'适配更多特殊场景 ) print(sdf)
方案2:使用BytesIO承载原始字节流
如果你不想提前解码,也可以直接把原始字节传给io.BytesIO,在read_csv阶段指定编码即可:
import pandas as pd import boto3 import io import csv s3 = boto3.resource('s3', aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_SECRET_ACCESS_KEY) my_bucket = s3.Bucket(AWS_S3_BUCKET) # 直接读取S3返回的原始字节流 csv_bytes = my_bucket.Object(key=key).get()['Body'].read() data = io.BytesIO(csv_bytes) # 读取时指定编码 sdf = pd.read_csv( data, encoding='utf-16', delimiter=',', names=['Name', 'Adress/1', 'Adress/2', 'City', 'State'], header=None, skiprows=1, quoting=csv.QUOTE_MINIMAL, quotechar='"', ) print(sdf)
额外排查点
- 若解码报错,可先打印前100个原始字节确认编码是否为utf-16,是否存在BOM头,可尝试调整为
utf-16-le或utf-16-be适配不同字节序 - 确保你的CSV中包含换行、制表符的字段是被半角双引号包裹的,这是标准CSV处理多行字段的规范
- 不要混用解码逻辑和IO类型:字符串必须配StringIO,字节必须配BytesIO,不要出现解码后传给BytesIO的情况
内容的提问来源于stack exchange,提问作者mial4567
相关产品推荐
相关产品推荐

