使用PySpark写入S3失败但读取正常的问题排查求助

看起来你碰到了Pandas写入S3的常见坑，我来帮你拆解问题和解决办法：

核心问题原因 #

你遇到的IOError: No such file or directory其实是两个问题叠加导致的：

1. Pandas本身不直接支持S3写入（读取依赖了额外库） #

Pandas的to_csv默认是给本地文件系统用的，直接扔S3路径给它，它会当成本地路径去找，肯定找不到嘛！而你能正常读S3，大概率是环境里已经装了s3fs或者boto3这类适配库——这些库会偷偷帮Pandas处理读取S3的逻辑，但写入时可能没自动生效，或者需要更明确的处理。

2. 文件名里的冒号是隐形坑 #

你的文件名里有时间戳的冒号（08:50:45），虽然S3本身允许对象键用冒号，但在文件系统兼容层（比如s3fs处理路径的时候），冒号可能被当成特殊字符解析，导致路径识别出问题，这也雪上加霜让写入失败了。

具体解决步骤 #

第一步：先装好必备依赖 #

首先得确保s3fs这个库已经安装，它是Pandas和S3交互的关键适配工具：

pip install s3fs

第二步：修改代码适配S3写入 #

这里给你两种靠谱的写法：

写法一：用s3fs文件对象写入（更稳妥）

直接创建S3的文件对象，再传给Pandas的to_csv，同时把文件名里的冒号换成下划线避免解析问题：

import s3fs
import pandas as pd

dic = {'a': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 260, 'c4(%)': 4.79, 'c5': 78, 'c6': 352}, 'b': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 5, 'c4(%)': 0.09, 'c5': 2, 'c6': 280}, 'c': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 0, 'c4(%)': 0.0, 'c5': 0, 'c6': 267}}
df = pd.DataFrame(dic)

# 初始化S3文件系统
fs = s3fs.S3FileSystem()
# 替换冒号为下划线，避免路径解析问题
with fs.open("s3://work/.../filename_2018-01-04_08_50_45.csv", 'w') as f:
    df.to_csv(f)

写法二：直接用Pandas路径（依赖s3fs生效）

如果s3fs已经装好且环境配置正常，也可以直接改文件名后用你原来的写法：

import pandas as pd

dic = {'a': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 260, 'c4(%)': 4.79, 'c5': 78, 'c6': 352}, 'b': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 5, 'c4(%)': 0.09, 'c5': 2, 'c6': 280}, 'c': {'c1(%)': 0.0, 'c2': 0, 'c3($)': 0, 'c4(%)': 0.0, 'c5': 0, 'c6': 267}}
df = pd.DataFrame(dic)

# 把文件名里的冒号换成下划线
df.to_csv("s3://work/.../filename_2018-01-04_08_50_45.csv")

第三步：检查权限和路径 #

最后别忘了确认你的运行环境有S3的访问权限——可以通过环境变量配置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY，或者如果是在AWS服务上运行（比如EC2、EMR），确保IAM角色有对应的S3写入权限。同时检查S3路径有没有拼写错误，桶名、前缀都要准确。

内容的提问来源于stack exchange，提问作者HilaD