网页爬取图片上传Google Cloud Storage并调用Vision API的可扩展方案咨询
可扩展网页图片爬取+GCS存储+Vision API处理流程搭建方案
整体架构设计(无服务器可扩展版)
整套流程采用事件驱动的GCP原生服务架构,无需自行维护服务器,可根据请求量级自动扩缩容:
- 触发层:用Cloud Scheduler定时触发/HTTP请求手动触发爬虫Cloud Function,支持按需启动任务
- 爬虫层:专用Cloud Function负责批量爬取目标网页,提取所有图片链接,筛选出jpg格式后直接流式上传到GCS,避免占用本地内存
- 处理触发层:GCS配置对象创建事件通知,只要指定Bucket内有新的jpg文件上传,自动触发Vision API处理的Cloud Function
- 结果存储层:Vision API返回的处理结果可存入BigQuery或Firestore,方便后续查询、分析使用
核心实现建议
- 爬虫优化:
- 配置并发请求限制,避免触发目标网站反爬规则,推荐用
asyncio+aiohttp实现异步爬取,效率比同步请求高3倍以上 - 爬取时先校验响应头的
Content-Type是否为image/jpeg,无需全量下载即可过滤非jpg资源,节省带宽 - 大文件采用分片上传到GCS,避免超时,Cloud Function的超时时间可最多设置为9分钟,足以覆盖大部分场景
- 配置并发请求限制,避免触发目标网站反爬规则,推荐用
- 成本&稳定性优化:
- GCS分两个Bucket存储:一个存原始jpg文件,一个存处理后的衍生资源,按需配置生命周期规则,过期资源自动删除降低成本
- 给Cloud Function配置重试机制,爬虫层遇到网络错误自动重试3次,Vision API调用失败配置指数退避重试
- 爬取到相对路径的图片链接时,自动拼接目标网站域名,避免404错误
- 权限配置:
- 给Cloud Function的服务账号授予
storage.objectCreator(GCS上传用)、vision.serviceAgent(调用Vision API用)权限,遵循最小权限原则规避安全风险
- 给Cloud Function的服务账号授予
快速上手示例代码
1. 爬虫&上传GCS的Cloud Function代码(Python运行时)
import os import requests import aiohttp import asyncio from google.cloud import storage from urllib.parse import urljoin from bs4 import BeautifulSoup # 初始化GCS客户端 storage_client = storage.Client() TARGET_BUCKET = os.environ.get("TARGET_GCS_BUCKET") TARGET_WEBSITE = os.environ.get("TARGET_WEBSITE_URL") MAX_CONCURRENT = 10 # 可根据实际情况调整并发请求数 async def fetch_image(session, img_url, semaphore): async with semaphore: try: async with session.get(img_url, timeout=10) as resp: if resp.status != 200 or resp.headers.get("Content-Type") != "image/jpeg": return # 流式上传到GCS,避免内存溢出 blob_name = img_url.split("/")[-1] blob = storage_client.bucket(TARGET_BUCKET).blob(blob_name) blob.upload_from_string(await resp.read(), content_type="image/jpeg") print(f"上传成功:{blob_name}") except Exception as e: print(f"处理图片失败{img_url}: {str(e)}") def crawl_and_upload(request): # 爬取目标网页提取所有图片链接 resp = requests.get(TARGET_WEBSITE, timeout=10) soup = BeautifulSoup(resp.text, "html.parser") img_tags = soup.find_all("img") img_urls = [urljoin(TARGET_WEBSITE, img.get("src")) for img in img_tags] # 异步批量下载上传 semaphore = asyncio.Semaphore(MAX_CONCURRENT) async def main(): async with aiohttp.ClientSession() as session: tasks = [fetch_image(session, url, semaphore) for url in img_urls] await asyncio.gather(*tasks) asyncio.run(main()) return "爬取上传任务完成", 200
给该Cloud Function配置环境变量TARGET_GCS_BUCKET(存储jpg的Bucket名)和TARGET_WEBSITE_URL(目标爬取网页地址),依赖包requirements.txt内容:
requests beautifulsoup4 aiohttp google-cloud-storage
2. GCS触发调用Vision API的Cloud Function代码
import os from google.cloud import vision from google.cloud import firestore vision_client = vision.ImageAnnotatorClient() db = firestore.Client() RESULT_COLLECTION = os.environ.get("RESULT_COLLECTION", "vision_results") def process_image(event, context): # 读取GCS新上传的文件信息 bucket = event["bucket"] file_name = event["name"] if not file_name.lower().endswith(".jpg"): print(f"非jpg文件跳过:{file_name}") return # 调用Vision API标签检测,可按需替换为OCR、人脸检测等其他能力 image = vision.Image(source=vision.ImageSource(gcs_image_uri=f"gs://{bucket}/{file_name}")) response = vision_client.label_detection(image=image, max_results=10) labels = [label.description for label in response.label_annotations] # 结果写入Firestore存储 doc_ref = db.collection(RESULT_COLLECTION).document(file_name) doc_ref.set({ "gcs_uri": f"gs://{bucket}/{file_name}", "labels": labels, "process_time": firestore.SERVER_TIMESTAMP }) print(f"处理完成:{file_name},标签:{labels}")
该函数的requirements.txt内容:
google-cloud-vision google-cloud-firestore
触发配置
- 给第二个处理函数配置触发器:选择GCS触发器,事件类型为「对象创建」,绑定存储jpg的目标Bucket即可
- 如果需要定时爬取,直接创建Cloud Scheduler作业,定时调用第一个爬虫Function的HTTP触发地址即可
量级扩展方案
如果单批次爬取量级超过10万张图片,可将爬取到的图片链接先推入Pub/Sub队列,再用多个Cloud Function消费队列处理,避免单个Function超时或并发不足。
内容的提问来源于stack exchange,提问作者RE Wolfe
相关产品推荐
相关产品推荐

