You need to enable JavaScript to run this app. 使用boto3从AWS S3读取含特殊字符的CSV文件报错如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

使用boto3从AWS S3读取含特殊字符的CSV文件报错如何解决?

问题解决方法

核心问题原因

你代码的核心错误是IO对象使用和数据类型不匹配:

  • 你已经通过decode('utf-16')把S3返回的字节流转成了字符串类型,io.BytesIO仅支持接收字节类型输入,你传入字符串会触发类型错误,这是你用io.StringIO报错、换BytesIO后数据异常的根本原因
  • 你换BytesIO后仍能运行但仅展示一列,大概率是编码识别异常导致分隔符没有被正常解析

可行解决步骤

方案1:使用StringIO承载解码后的字符串(推荐)

直接用你解码后的字符串配合io.StringIO,同时补充CSV特殊字符适配参数,修正后代码如下:

import pandas as pd
import boto3
import io
import csv

s3 = boto3.resource('s3', aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_SECRET_ACCESS_KEY)
my_bucket = s3.Bucket(AWS_S3_BUCKET)
# 读取S3对象并解码为utf-16字符串
csv_content = my_bucket.Object(key=key).get()['Body'].read().decode('utf-16')
# 用StringIO承载字符串,适配pandas读取接口
data = io.StringIO(csv_content)
# 读取CSV,补充特殊字符适配参数
sdf = pd.read_csv(
    data,
    delimiter=',', # 确保这里是你实际的分隔符,不要用未定义的sep变量
    names=['Name', 'Adress/1', 'Adress/2', 'City', 'State'], # 直接指定列名避免cols变量错误
    header=None,
    skiprows=1,
    quoting=csv.QUOTE_MINIMAL, # 识别被引号包裹的含特殊字符的字段
    quotechar='"', # 指定字段包裹符,和你CSV实际使用的符号一致
    engine='c' # 默认c引擎性能更高,若仍有异常可切换为'python'适配更多特殊场景
)
print(sdf)

方案2:使用BytesIO承载原始字节流

如果你不想提前解码,也可以直接把原始字节传给io.BytesIO,在read_csv阶段指定编码即可:

import pandas as pd
import boto3
import io
import csv

s3 = boto3.resource('s3', aws_access_key_id=AWS_ACCESS_KEY_ID, aws_secret_access_key=AWS_SECRET_ACCESS_KEY)
my_bucket = s3.Bucket(AWS_S3_BUCKET)
# 直接读取S3返回的原始字节流
csv_bytes = my_bucket.Object(key=key).get()['Body'].read()
data = io.BytesIO(csv_bytes)
# 读取时指定编码
sdf = pd.read_csv(
    data,
    encoding='utf-16',
    delimiter=',',
    names=['Name', 'Adress/1', 'Adress/2', 'City', 'State'],
    header=None,
    skiprows=1,
    quoting=csv.QUOTE_MINIMAL,
    quotechar='"',
)
print(sdf)

额外排查点

  • 若解码报错,可先打印前100个原始字节确认编码是否为utf-16,是否存在BOM头,可尝试调整为utf-16-le或utf-16-be适配不同字节序
  • 确保你的CSV中包含换行、制表符的字段是被半角双引号包裹的,这是标准CSV处理多行字段的规范
  • 不要混用解码逻辑和IO类型:字符串必须配StringIO,字节必须配BytesIO,不要出现解码后传给BytesIO的情况

内容的提问来源于stack exchange,提问作者mial4567

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 00:21:02