如何在Kubernetes Deployment中实现单容器多副本配置优化Selenium爬虫

我正在基于Kubernetes搭建一个使用Selenium和Python脚本的网页爬虫服务。由于Selenium内存占用较高，我希望同时运行多个脚本以提升效率。

以下是我的简化版YAML配置：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: scraping-banner
spec:
  selector:
    matchLabels:
      app: scrape-banner
  replicas: 1
  strategy:
    type: Recreate
  template:
    spec:
      containers:
      - name: selenium-image
        image: selenium/standalone-chrome:95.0.4638.69
      - name: function-image
        image: registry.gitlab.com/myrepo/scraping/functions:<VERSION>
      nodeSelector:
        type: scraping
      imagePullSecrets:
        - name: gitlab-registry

我知道可以采用这种不够优雅的方式手动复制容器条目：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: scraping-banner
spec:
  selector:
    matchLabels:
      app: scrape-banner
  replicas: 1
  strategy:
    type: Recreate
  template:
    spec:
      containers:
      - name: selenium-image
        image: selenium/standalone-chrome:95.0.4638.69
      - name: function-image-1
        image: registry.gitlab.com/myrepo/scraping/functions:<VERSION>
      - name: function-image-2
        image: registry.gitlab.com/myrepo/scraping/functions:<VERSION>
      - name: function-image-3
        image: registry.gitlab.com/myrepo/scraping/functions:<VERSION>
      nodeSelector:
        type: scraping
      imagePullSecrets:
        - name: gitlab-registry

但我想要更简洁的配置，就像Docker Compose中这样给单个服务设置副本数：

services:
  redis:
    image: "redis:alpine"
    deploy:
      replicas: 2
      restart_policy:
        condition: none

请问这种方式在Kubernetes YAML中是否可行？

Kubernetes原生Deployment的Pod模板里不支持直接对单个容器设置副本数，没法像Docker Compose那样给单个服务指定实例数量。如果要在同一个Pod内部署多个相同的Python爬虫容器，原生YAML确实只能手动复制容器条目，但有几个更优雅的替代方案：

1. 拆分Deployment（推荐） #

这是最符合Kubernetes设计理念的方案：

• 把Selenium单独部署为一个Deployment（或StatefulSet），设置合适的副本数，再通过Service暴露网络地址。
• 把Python爬虫做成独立的Deployment，直接设置你需要的副本数（比如replicas: 3），每个爬虫Pod只运行一个function容器，通过Selenium的Service地址建立连接。

这种方式的优势在于：

• 组件独立伸缩，爬虫副本数可以根据需求动态调整，不用修改Pod结构。
• Selenium实例可以被多个爬虫Pod共享，避免每个Pod都运行Selenium造成资源浪费。
• 资源隔离更清晰，单个组件故障不会影响其他组件。

2. 使用Kustomize批量生成容器配置 #

如果必须在同一个Pod内部署多个相同容器，可以用Kustomize来简化配置：

• 定义一个基础的Deployment YAML，只包含Selenium容器。
• 通过Kustomize的components或patches功能，批量添加多个function容器实例，容器数量可以通过配置文件控制，不用手动复制粘贴。

3. 用脚本动态生成YAML #

编写简单的Shell或Python脚本，接收容器数量参数，自动生成包含指定数量function容器的Deployment YAML。比如脚本接收参数3，就自动生成1个Selenium容器+3个function容器的配置。

内容的提问来源于stack exchange，提问作者Marcos Federico Mandrille