Python谷歌云函数处理GCS文件时报NoneType无download_to_filename及404错误如何解决
错误根因梳理
- 第一个
NoneType报错的核心原因:硬编码了GCS对象路径与桶名
云函数由GCS上传事件触发,但代码中写死了桶名ingka-cbdexpose-iipb、对象路径cbd/sync/cbd-data/test_file.csv。只要触发事件的文件不是恰好落在这个固定路径下,bucket.get_blob()就会返回None,调用None对象的download_to_filename()方法就会直接抛出NoneType属性错误。 - 调整后出现404错误的核心原因:
路径不匹配导致请求的GCS对象不存在,下载环节向不存在的对象发请求时,resumable media客户端会直接返回404状态码;同时原代码提前删除源文件、空捕获吞掉异常的逻辑,进一步放大了问题的排查难度。
分步修复方案
1. 替换硬编码逻辑,直接从事件载荷取参数
完全移除写死的桶名、对象路径,直接读取GCS触发事件中携带的元数据,从根源避免路径不匹配问题:
# 从event中直接取触发事件对应的桶名、对象名 bucket_name = event["bucket"] blob_name = event["name"] bucket = client.get_bucket(bucket_name) blob = bucket.get_blob(blob_name) # 提前做对象存在性校验,避免None调用 if not blob: print(f"未找到对应GCS对象: {blob_name},终止处理") return
2. 修正处理流程顺序,规避数据丢失与请求错误
原代码在处理完消息、上传processed文件之前就调用blob.delete()删除源文件,一旦后续上传环节出问题,源数据就会永久丢失。正确的流程顺序为:
- 校验GCS对象存在
- 下载对象到本地临时目录
- 读取CSV转JSON发布到Pub/Sub
- 将处理完成的文件上传到processed目录
- 确认上传成功后,再删除源GCS对象
3. 修复上传环节的细节问题
原代码的上传逻辑存在两个易触发错误的隐患:
- 读取CSV后文件指针停留在末尾位置,直接上传会生成空文件;需在上传前将文件指针重置到开头
- 空的
except块会吞掉所有异常,导致问题出现时无法定位具体原因
调整后的上传逻辑:
try: with open(dest_file, "rb") as my_file: # 指针重置到文件开头,避免上传空文件 my_file.seek(0) blobprocessed.upload_from_file(my_file) print(f"处理完成的文件已上传至 {processedfilename}") # 上传成功后再删除源文件 blob.delete() print(f"源文件 {blob_name} 已删除") except Exception as e: print(f"文件处理流程出现异常: {str(e)}")
4. 优化临时文件路径
原代码将本地临时文件固定为/tmp/test_file.csv,云函数实例复用时容易读取到上次执行残留的旧文件,可基于原GCS对象名生成唯一临时路径:
# 从原GCS路径提取文件名,生成临时文件路径 local_file_name = blob.name.split("/")[-1] dest_file = f"/tmp/{local_file_name}"
修复后的完整可运行代码
from google.cloud import storage from google.cloud import pubsub_v1 import datetime import pandas as pd storage_client = storage.Client() pubsub_publisher = pubsub_v1.PublisherClient() def test_multi_topic(event, context): """Triggered by a change to a Cloud Storage bucket. Args: event (dict): Event payload. context (google.cloud.functions.Context): Metadata for the event. """ # 从事件元数据取GCS参数 bucket_name = event["bucket"] blob_name = event["name"] print(f"开始处理触发文件: {bucket_name}/{blob_name}") bucket = storage_client.get_bucket(bucket_name) blob = bucket.get_blob(blob_name) # 对象存在性校验 if not blob: print(f"未找到对象 {blob_name},退出") return # 生成本地临时文件路径 local_file_name = blob.name.split("/")[-1] dest_file = f"/tmp/{local_file_name}" blob.download_to_filename(dest_file) # 生成processed存储路径,保留原文件路径结构 processed_file_path = f"cbd/sync/processed/{local_file_name.rsplit('.', 1)[0]}_{datetime.datetime.now().strftime('%Y%m%d%H%M%S')}.csv" processed_blob = bucket.blob(processed_file_path) # 读取CSV并转换为JSON记录 df = pd.read_csv(dest_file, encoding="utf-8", dtype=str) df = df.assign(FILE_TYPE="TESTFL") json_records = df.to_json(orient="records", lines=True).split("\n") # 发布消息到指定Pub/Sub主题 topic_1 = pubsub_publisher.topic_path("ingka-cbd-exposecbd-devp", "test-dev") topic_2 = pubsub_publisher.topic_path("ingka-cbd-exposecbd-devp", "test2-dev") for record in json_records: if not record: continue data = record.encode("utf-8") pubsub_publisher.publish(topic_1, data=data) pubsub_publisher.publish(topic_2, data=data) print("所有消息已发布到对应Pub/Sub主题") # 执行后续文件上传、源文件删除逻辑 try: with open(dest_file, "rb") as my_file: my_file.seek(0) processed_blob.upload_from_file(my_file) blob.delete() print(f"处理流程完成,源文件已归档删除: {processed_file_path}") except Exception as e: print(f"文件归档环节异常: {str(e)}")
内容的提问来源于stack exchange,提问作者SUNDARAM SRIVASTAVA
相关产品推荐
相关产品推荐

