Azure存储中CSV处理后上传至另一容器报[Errno 2]无文件或目录问题
[Errno 2] 无文件或目录问题排查与修复
报错的核心诱因
- 最直接的匹配错误:代码生成本地CSV文件时,实际落盘的文件是带
.csv后缀的,但后续打开文件、设置Blob名称时,用的是不带后缀的原始时间字符串作为文件名,系统找不到对应路径下的无后缀文件,直接触发报错。
举个实际执行的例子:某分组生成的文件名变量值为102530,写入时通过to_csv(f'{filename}.csv')实际生成的本地文件是102530.csv,但后续执行open(filename, "rb")时,系统会去寻找名为102530的文件,和实际存在的文件名对不上。 - 空分组逻辑漏洞:使用
pd.Grouper按1分钟间隔分组时,部分时间窗口可能没有匹配的有效记录,这类空分组调用to_csv()不会真正生成本地文件,直接进入上传流程的话,哪怕文件名后缀匹配,也会出现找不到文件的报错。 - 相对路径风险:代码使用相对路径读写本地文件,如果运行环境的工作目录和预期的文件落地路径不一致,也会触发文件找不到的问题。
修复方案
- 统一文件命名规则:将
.csv后缀直接拼入文件名变量,让本地写入文件、Blob命名、打开文件三个环节使用同一个完整文件名,从根源避免名称不匹配问题。 - 增加空分组判断:遍历分组时先判断当前分组是否有有效数据,空分组直接跳过,不要执行写文件、上传操作。
- 用绝对路径替代相对路径:可结合Python标准库的临时目录功能存储拆分生成的文件,完全规避工作目录不匹配、权限不足的问题,临时目录用完可自动清理,不残留冗余文件。
修改后的核心代码逻辑
import tempfile import os # 原有Blob客户端初始化逻辑保持不变,以下为拆分上传环节的修复代码 # 绑定系统临时目录存储拆分文件 with tempfile.TemporaryDirectory() as temp_save_dir: for g, d in df.groupby(pd.Grouper(key='datetime', freq='1min')): # 跳过无有效数据的空分组 if d.empty: continue # 统一生成带.csv后缀的完整文件名 file_name = f"{str(g.time()).replace(':', '')}.csv" # 拼接文件绝对路径,彻底规避相对路径的兼容问题 local_full_path = os.path.join(temp_save_dir, file_name) # 写入拆分后的CSV文件 d.iloc[:, :-1].to_csv(local_full_path, index=False) # 创建对应Blob客户端,Blob名称和本地文件名完全一致 blob_client = blob_service_client.get_blob_client( container=container_name, blob=file_name ) print(f"\nUploading to Azure Storage as blob:\n\t{file_name}") # 打开实际存在的本地文件流完成上传 with open(local_full_path, "rb") as upload_stream: blob_client.upload_blob(upload_stream)
其他需要顺带修正的问题
- 代码中重复初始化了两个
BlobServiceClient(前面定义的blobService变量全程未使用),保留通过连接字符串生成的客户端实例即可,避免冗余配置。 - 检查源文件访问URL的拼写:代码里标注的源容器名称为
sourcedata,但URL字段误写为sorcedata,虽然这不是本次本地文件报错的原因,但会导致后续重新运行时代码无法正常读取原始CSV文件。
内容的提问来源于stack exchange,提问作者Mohsen Akhavan
相关产品推荐
相关产品推荐

