如何避免大规模迁移场景下K8s杀死Pod？

一、K8s Pod被杀死的配置排查 #

1. 健康检查配置调整 #

• 存活探针（livenessProbe）：如果迁移进程长时间运行时无法响应健康检查请求，K8s会触发Pod重启。检查探针的failureThreshold、periodSeconds、timeoutSeconds参数，默认配置（如每10秒检查一次，3次失败重启）对长耗时任务过于严格，需放宽阈值。比如设置failureThreshold: 72、periodSeconds: 300，给进程30分钟的缓冲时间。
• 启动探针（startupProbe）：必须配置启动探针覆盖初始启动阶段的健康检查，避免程序还未进入迁移逻辑就被判定为不健康。示例配置：

  startupProbe:
    httpGet:
      path: /health
      port: 8080
    failureThreshold: 30
    periodSeconds: 10
  

  这样K8s会等待300秒再开始常规健康检查，足够程序完成初始化。
• 探针类型选择：如果迁移程序是无状态的脚本，可改用命令行探针（如pgrep python）检查进程是否存活，而非依赖业务接口响应。

2. 资源限制排查 #

检查Pod事件中是否有OOMKilled记录，迁移数百万文档可能占用大量内存，需调整resources.limits和requests配置，确保Pod有足够内存支撑数据处理，同时开启K8s资源监控跟踪资源使用情况。

二、大规模Mongo迁移最佳实践 #

1. 分批处理，断点续传 #

• 不要一次性加载全量数据，按_id或时间戳分片，每次处理1000-10000条，处理完一批后记录最后一条的_id，中断后可从该断点继续。伪代码示例：

  last_id = None
  batch_size = 1000
  while True:
      query = {"_id": {"$gt": last_id}} if last_id else {}
      docs = list(db.source.find(query).sort("_id", 1).limit(batch_size))
      if not docs:
          break
      # 执行迁移/更新操作
      db.target.insert_many(docs)
      # 或 db.source.update_many({"_id": {"$in": [d["_id"] for d in docs]}}, {"$set": {"new_field": "value"}})
      last_id = docs[-1]["_id"]
  

2. 优先使用Mongo原生工具 #

• 简单集合迁移用mongodump+mongorestore，支持并行导出/导入、指定查询条件过滤数据，效率远高于自定义代码。比如：

  # 导出指定集合
  mongodump --uri="mongodb://host:port/db" --collection=source --query='{"created_at": {"$gte": ISODate("2024-01-01")}}'
  # 导入到目标集合
  mongorestore --uri="mongodb://host:port/db" --collection=target dump/db/source.bson
  

• 批量更新字段用updateMany加batchSize，避免锁表：

  db.source.updateMany(
      {"new_field": {"$exists": false}},
      {"$set": {"new_field": "default_value"}},
      {"batchSize": 1000}
  )
  

3. 降低对线上业务的影响 #

• 选择低峰时段执行迁移，从副本集从节点读取数据（设置readPreference: secondary），减轻主节点压力。
• 迁移时控制并发数，避免占用过多数据库连接和CPU资源，导致业务延迟。

4. 监控与任务拆分 #

• 在迁移程序中加入详细日志，记录每批处理的数量、耗时、断点ID，方便问题排查和断点续传。
• 用K8s Job而非Deployment部署迁移任务，Job适合一次性任务，配置restartPolicy: OnFailure可在Pod异常时自动重启续跑。
• 超大规模迁移可拆分为多个Job，按_id范围分配任务，单个Job失败仅需重跑该分片，无需全量重试。

内容的提问来源于stack exchange，提问作者vallish