GCP容器优化OS中cloud-init与容器启动的竞态问题解决

核心思路 #

容器优化OS中负责启动容器的systemd服务是gce-container.service，我们通过给该服务添加依赖规则，强制它等待cloud-init完成所有存储初始化及收尾工作后再启动。

具体实现步骤 #

1. 在cloud-init配置中添加systemd依赖规则 #

在你的user-data配置里，通过cloud-init的systemd模块给gce-container.service添加依赖。示例配置片段：

#cloud-config
fs_setup:
  # 你的多SSD初始化规则，比如：
  - device: /dev/nvme0n1
    filesystem: ext4
    label: ssd1
  - device: /dev/nvme1n1
    filesystem: ext4
    label: ssd2
mounts:
  # 对应挂载配置...
systemd:
  units:
    - name: gce-container.service
      drop-ins:
        - name: 10-wait-cloud-init.conf
          contents: |
            [Unit]
            After=cloud-final.service
            Requires=cloud-final.service

cloud-final.service是cloud-init执行最后阶段任务（包括fs_setup完成后的挂载、自定义脚本执行等）的核心服务，添加After和Requires后，容器服务会在cloud-final.service成功执行完毕后才启动。

2. 验证依赖生效 #

实例启动后，可通过以下命令检查容器服务的依赖配置：

systemctl show gce-container.service -p After

输出内容中应包含cloud-final.service，说明依赖已成功添加。

3. Terraform配置整合 #

将上述cloud-init配置整合到你的Terraform实例metadata中，确保gce-container-declaration和user-data协同工作。示例Terraform片段：

resource "google_compute_instance" "container_instance" {
  name         = "your-container-instance"
  machine_type = "n2-standard-4"
  zone         = "us-central1-a"

  boot_disk {
    initialize_params {
      image = "cos-cloud/cos-stable"
    }
  }

  # 本地SSD配置
  scratch_disk {
    interface = "NVME"
  }
  scratch_disk {
    interface = "NVME"
  }

  metadata = {
    "gce-container-declaration" = <<EOF
spec:
  containers:
    - name: your-app-container
      image: gcr.io/your-project/your-app-image
      volumeMounts:
        - name: ssd1
          mountPath: /data/ssd1
        - name: ssd2
          mountPath: /data/ssd2
  volumes:
    - name: ssd1
      hostPath:
        path: /mnt/ssd1
    - name: ssd2
      hostPath:
        path: /mnt/ssd2
  restartPolicy: Always
EOF
    "user-data" = <<EOF
#cloud-config
fs_setup:
  - device: /dev/nvme0n1
    filesystem: ext4
    label: ssd1
  - device: /dev/nvme1n1
    filesystem: ext4
    label: ssd2
mounts:
  - ["/dev/disk/by-label/ssd1", "/mnt/ssd1"]
  - ["/dev/disk/by-label/ssd2", "/mnt/ssd2"]
systemd:
  units:
    - name: gce-container.service
      drop-ins:
        - name: 10-wait-cloud-init.conf
          contents: |
            [Unit]
            After=cloud-final.service
            Requires=cloud-final.service
EOF
  }
}

额外注意事项 #

• 如果你的存储初始化包含自定义脚本（比如runcmd中的操作），需确保脚本被纳入cloud-final.service的执行流程，否则需要额外创建自定义systemd服务，让容器服务依赖该自定义服务。
• 本地SSD的设备路径通常为/dev/nvme*n1，需确认路径正确性，避免初始化失败导致cloud-final.service异常，进而容器无法启动。

内容的提问来源于stack exchange，提问作者Vadym Chekan