使用Pandas读取AWS S3 Parquet文件遇AttributeError问题求助

问题背景 #

你遇到的这个跨环境问题很典型：相同的Pandas读取S3 Parquet代码在Windows上正常运行，但在Ubuntu 18.04环境下触发了AttributeError，且所有必要依赖包（fastparquet、s3fs等）都已安装。结合你提供的报错栈和环境版本信息，我们来拆解问题根源并给出更优解决思路。

问题根源分析 #

这个错误的核心是依赖包版本兼容性冲突，具体细节如下：

• 你使用的pandas 0.25.0在调用fastparquet 0.3.1读取S3文件时，内部逻辑错误地尝试访问s3.s3.open属性——但旧版本的s3fs 0.3.1中，S3File对象并没有s3这个属性，直接触发了AttributeError。
• Windows环境能正常运行，大概率是因为Windows下的依赖包实际版本（比如s3fs或fastparquet）比你列出的更新，或者环境中存在隐式的兼容逻辑，而Ubuntu环境严格使用了你指定的旧版本组合。

更优解决方案 #

根据你的场景，推荐两种解决方案，优先选择升级依赖的方案，因为它能保持代码简洁且后续不易出现新的兼容问题。

方案1：升级依赖包（推荐） #

旧版本的pandas、s3fs、fastparquet之间存在API不兼容，升级到经过验证的稳定兼容版本即可彻底解决问题。建议升级到以下版本：

• pandas >= 1.0.0
• s3fs >= 0.5.0
• fastparquet >= 0.4.0

执行升级命令：

pip install --upgrade pandas s3fs fastparquet

升级完成后，你原来的代码不需要任何修改，pd.read_parquet('s3://{}/{}'.format(bucket_name, file_name))就能在Ubuntu环境正常运行。

方案2：不升级依赖的兼容写法（适合无法升级的环境） #

如果因为环境限制不能升级依赖，可以绕过pandas内部的错误调用逻辑，直接使用s3fs和fastparquet的原生API，同时保持Pandas DataFrame的输出：

import s3fs
from fastparquet import ParquetFile

def get_parquet_from_s3(bucket_name, file_name, columns=None):
    # 初始化S3文件系统客户端
    s3 = s3fs.S3FileSystem()
    # 直接用s3.open作为文件读取入口，避免pandas的错误封装
    pf = ParquetFile(f"{bucket_name}/{file_name}", open_with=s3.open)
    # 支持指定columns参数，只读取需要的列提升性能
    df = pf.to_pandas(columns=columns)
    print(df.head())
    return df

额外提示：消除numba警告 #

你还看到了numba的colorama版本警告，只需升级colorama到要求的版本即可消除：

pip install --upgrade colorama>=0.3.9

内容的提问来源于stack exchange，提问作者balderman