You need to enable JavaScript to run this app. 网页爬取图片上传Google Cloud Storage并调用Vision API的可扩展方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

网页爬取图片上传Google Cloud Storage并调用Vision API的可扩展方案咨询

可扩展网页图片爬取+GCS存储+Vision API处理流程搭建方案

整体架构设计(无服务器可扩展版)

整套流程采用事件驱动的GCP原生服务架构,无需自行维护服务器,可根据请求量级自动扩缩容:

  • 触发层:用Cloud Scheduler定时触发/HTTP请求手动触发爬虫Cloud Function,支持按需启动任务
  • 爬虫层:专用Cloud Function负责批量爬取目标网页,提取所有图片链接,筛选出jpg格式后直接流式上传到GCS,避免占用本地内存
  • 处理触发层:GCS配置对象创建事件通知,只要指定Bucket内有新的jpg文件上传,自动触发Vision API处理的Cloud Function
  • 结果存储层:Vision API返回的处理结果可存入BigQuery或Firestore,方便后续查询、分析使用

核心实现建议

  • 爬虫优化:
    • 配置并发请求限制,避免触发目标网站反爬规则,推荐用asyncio+aiohttp实现异步爬取,效率比同步请求高3倍以上
    • 爬取时先校验响应头的Content-Type是否为image/jpeg,无需全量下载即可过滤非jpg资源,节省带宽
    • 大文件采用分片上传到GCS,避免超时,Cloud Function的超时时间可最多设置为9分钟,足以覆盖大部分场景
  • 成本&稳定性优化:
    • GCS分两个Bucket存储:一个存原始jpg文件,一个存处理后的衍生资源,按需配置生命周期规则,过期资源自动删除降低成本
    • 给Cloud Function配置重试机制,爬虫层遇到网络错误自动重试3次,Vision API调用失败配置指数退避重试
    • 爬取到相对路径的图片链接时,自动拼接目标网站域名,避免404错误
  • 权限配置:
    • 给Cloud Function的服务账号授予storage.objectCreator(GCS上传用)、vision.serviceAgent(调用Vision API用)权限,遵循最小权限原则规避安全风险

快速上手示例代码

1. 爬虫&上传GCS的Cloud Function代码(Python运行时)

import os
import requests
import aiohttp
import asyncio
from google.cloud import storage
from urllib.parse import urljoin
from bs4 import BeautifulSoup

# 初始化GCS客户端
storage_client = storage.Client()
TARGET_BUCKET = os.environ.get("TARGET_GCS_BUCKET")
TARGET_WEBSITE = os.environ.get("TARGET_WEBSITE_URL")
MAX_CONCURRENT = 10 # 可根据实际情况调整并发请求数

async def fetch_image(session, img_url, semaphore):
    async with semaphore:
        try:
            async with session.get(img_url, timeout=10) as resp:
                if resp.status != 200 or resp.headers.get("Content-Type") != "image/jpeg":
                    return
                # 流式上传到GCS,避免内存溢出
                blob_name = img_url.split("/")[-1]
                blob = storage_client.bucket(TARGET_BUCKET).blob(blob_name)
                blob.upload_from_string(await resp.read(), content_type="image/jpeg")
                print(f"上传成功:{blob_name}")
        except Exception as e:
            print(f"处理图片失败{img_url}: {str(e)}")

def crawl_and_upload(request):
    # 爬取目标网页提取所有图片链接
    resp = requests.get(TARGET_WEBSITE, timeout=10)
    soup = BeautifulSoup(resp.text, "html.parser")
    img_tags = soup.find_all("img")
    img_urls = [urljoin(TARGET_WEBSITE, img.get("src")) for img in img_tags]
    
    # 异步批量下载上传
    semaphore = asyncio.Semaphore(MAX_CONCURRENT)
    async def main():
        async with aiohttp.ClientSession() as session:
            tasks = [fetch_image(session, url, semaphore) for url in img_urls]
            await asyncio.gather(*tasks)
    asyncio.run(main())
    return "爬取上传任务完成", 200

给该Cloud Function配置环境变量TARGET_GCS_BUCKET(存储jpg的Bucket名)和TARGET_WEBSITE_URL(目标爬取网页地址),依赖包requirements.txt内容:

requests
beautifulsoup4
aiohttp
google-cloud-storage

2. GCS触发调用Vision API的Cloud Function代码

import os
from google.cloud import vision
from google.cloud import firestore

vision_client = vision.ImageAnnotatorClient()
db = firestore.Client()
RESULT_COLLECTION = os.environ.get("RESULT_COLLECTION", "vision_results")

def process_image(event, context):
    # 读取GCS新上传的文件信息
    bucket = event["bucket"]
    file_name = event["name"]
    if not file_name.lower().endswith(".jpg"):
        print(f"非jpg文件跳过:{file_name}")
        return
    
    # 调用Vision API标签检测,可按需替换为OCR、人脸检测等其他能力
    image = vision.Image(source=vision.ImageSource(gcs_image_uri=f"gs://{bucket}/{file_name}"))
    response = vision_client.label_detection(image=image, max_results=10)
    labels = [label.description for label in response.label_annotations]
    
    # 结果写入Firestore存储
    doc_ref = db.collection(RESULT_COLLECTION).document(file_name)
    doc_ref.set({
        "gcs_uri": f"gs://{bucket}/{file_name}",
        "labels": labels,
        "process_time": firestore.SERVER_TIMESTAMP
    })
    print(f"处理完成:{file_name},标签:{labels}")

该函数的requirements.txt内容:

google-cloud-vision
google-cloud-firestore

触发配置

  • 给第二个处理函数配置触发器:选择GCS触发器,事件类型为「对象创建」,绑定存储jpg的目标Bucket即可
  • 如果需要定时爬取,直接创建Cloud Scheduler作业,定时调用第一个爬虫Function的HTTP触发地址即可

量级扩展方案

如果单批次爬取量级超过10万张图片,可将爬取到的图片链接先推入Pub/Sub队列,再用多个Cloud Function消费队列处理,避免单个Function超时或并发不足。


内容的提问来源于stack exchange,提问作者RE Wolfe

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 00:54:01