火山引擎容器服务（VKE）严格遵循社区一致性认证。本文介绍容器服务发布 Kubernetes 1.28 版本所做的变更说明。 ## 版本发布说明表1：核心组件及说明 |核心组件 |当前版本号 |注意事项 | |---|---|---| |Kubernetes |v1.28.15 |Kubernetes v1.27 和 v1.28 对测试版本 API 进行废弃和移除，使用新版本需进行兼容性检查。详情请参见本文下方：[废弃和移除功能](https://www.volcengine.com/docs/6460/1223745#.5bqf5byD5ZKM56e76Zmk5Yqf6IO9) 和 [API 版本弃用](https://www.volcengine.com/docs/6460/1223745#.YXBpLeeJiOacrOW8g-eUqA==)。 | |ETCD |v3.5.9 |无 | |Containerd Runtime |1.6.38 |无 | |CoreDNS |1.10.1 |无 | |Ingress\-nginx |1.9.5\-vke.1 |无 | 表2：Kubernetes 版本与容器服务版本对应关系 |Kubernetes 版本 |VKE 版本 |发布说明 | |---|---|---| |v1.28.15 |vke.31 |调度器修复了使用不支持微拓扑调度的 NPU 卡时，Pod 调度失败的问题。 | |v1.28.15 |vke.30 |优化调度器 Controller，调整了 NodeMonitor CR 更新间隔。 | |v1.28.15 |vke.29 |调度器新增 AcceleratorTopology 插件支持 NPU\-A2 拓扑感知。 | |v1.28.15 |vke.28 |PV 控制器添加限速队列，并改进 PV 和 PVC 绑定失败重新入队列逻辑。 | |v1.28.15 |vke.27 |支持通过用户自建 Prometheus 采集控制面指标。 | |v1.28.15 |vke.26 |扩展调度器负载感知插件支持 Cluster/Pod 纬度生效。 | |v1.28.15 |vke.25 |mGPU 单容器多卡场景支持新的配置协议。 | |v1.28.15 |vke.24 |支持通过 Pod Annotaion 配置 Pod 的大页 Cgroup 限制。 | |v1.28.15 |vke.23 |优化 kube\-apiserver 对 etcd 超过 2 GiB 大资源的请求逻辑。 | |v1.28.15 |vke.22 |* 支持 Memory 类型 EmptyDir 卷配置挂载选项。

* 支持透传 mGPU 调度分配结果到容器环境变量中。 | |v1.28.15 |vke.21 |完善调度器在 mGPU 调度场景下，对于 GPU 卡故障的处理。 | |v1.28.15 |vke.20 |强化 API Server，支持 VCI Pod 注入 Sidecar 容器。 | |v1.28.15 |vke.19 |强化扩展调度器，支持 mGPU 在线和离线混合部署。 | |v1.28.15 |vke.18 |同步 Kubernetes 社区 v1.28.15 代码。 | |v1.28.3 |vke.17 |* 强化扩展调度器，支持感知 Virtual Kubelet Service 变化。

* 支持 Inplace VPA 特性。 | |v1.28.3 |vke.16 |强化扩展调度器，支持本地存储感知调度。 | |v1.28.3 |vke.15 |强化扩展调度器，支持 NUMA 拓扑感知调度和 RDMA 拓扑感知调度。 | |v1.28.3 |vke.14 |修复扩展调度器感知 vePFS 存储时不支持 Local Path PV 的问题。 | |v1.28.3 |vke.13 |* 强化扩展调度器，mGPU 跨卡共享功能支持使用全量算力分配策略。

* 强化扩展调度器，支持感知 vePFS 存储。 | |v1.28.3 |vke.12 |修复扩展调度器插件初始化异常问题。 | |v1.28.3 |vke.11 |优化核心组件发布规范。 | |v1.28.3 |vke.10 |修复 Kubelet 重启导致的容器 Ready 状态变化问题。 | |v1.28.3 |vke.9 |强化扩展调度器，支持 mGPU 抢占调度。 | |v1.28.3 |vke.8 |强化扩展调度器，支持感知 VCI 资源库存。 | |v1.28.3 |vke.7 |强化 API Server 自签名证书。 | |v1.28.3 |vke.6 |* 强化 Kubelet，支持配置容器资源视图。

* 强化 Kubelet，支持通过 Annotation 配置被驱逐 Pod 的优雅退出时间。

* 修复扩展调度器负载感知调度异常问题。 | ## Kubernetes 社区版本解读 ### 重大更新 * 在 Kubernetes v1.28 中，Scheduling Framework 对插件调用进行优化，减少不必要重试。如果集群中使用了自定义调度器插件，建议对扩展插件进行改造以提升整体调度性能。详情请参见：[Scheduling Framework 优化](https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.28.md#urgent-upgrade-notes)。 * 在 Kubernetes v1.28 中，废弃 CephFS 和 RBD 树内存储插件，并计划在 Kubernetes v1.31 中删除，建议转为使用第三方存储驱动 [CephFS CSI](https://github.com/ceph/ceph-csi/)。 ### 增量功能和特性 #### 在 Kubernetes v1.28 版本 * 控制面和节点的版本兼容偏差从 n\-2 变更为 n\-3 ，兼容版本数的增加可以减少节点升级带来的中断次数。详情请参见：[版本偏差策略](https://kubernetes.io/releases/version-skew-policy/)。 * 节点非优雅关闭（Non\-graceful node shutdown）功能进入 GA 阶段，节点由于断电等故障导致非正常关闭时，有状态应用程序需要及时在正常运行的节点上重新启动，以免影响业务正常运行。详情请参见：[节点非优雅关闭](https://kubernetes.io/docs/concepts/architecture/nodes/#non-graceful-node-shutdown)。 * 可追溯的默认 StorageClass 功能进入 GA 阶段，用户无需再进行先创建默认的 StorageClass，再创建 PVC 的流程。未分配 StorageClass 的所有 PVC 都将被自动使用默认的 StorageClass。详情请参见：[可追溯的默认 StorageClass 赋值](https://kubernetes.io/docs/concepts/storage/persistent-volumes/#retroactive-default-storageclass-assignment)。 * 针对 Job 失效处理，新增两项特性： * Pod 更换策略：新增 JobPodReplacementPolicy 特性门控，开启后支持在 Pod Spec 中定义`podReplacementPolicy`为`Failed`。设置该策略后，Pod 只有在到达`Failed`阶段才会被替换，而不是`Terminating`时就被替换，以避免出现 2 个 Pod 同时占用索引和节点资源。详情请参见：[延迟创建替换 Pod](https://kubernetes.io/docs/concepts/workloads/controllers/job/#pod-replacement-policy)。 * 基于索引的回退机制：新增 JobBackoffLimitPerIndex 特性门控，开启后支持在创建 Indexed Job 时配置`.spec.backoffLimitPerIndex`，避免单个索引持续失败达到`.spec.backoffLimit`限制而导致整体失败。详情请参见：[基于索引的回退限制](https://kubernetes.io/docs/concepts/workloads/controllers/job/#backoff-limit-per-index)。 * NodeSwap 进入 Beta 阶段，开启 NodeSwap 特性门控后，支持为运行的工作负载配置内存交换。详情请参见：[在 Linux 上使用交换内存](https://kubernetes.io/blog/2023/08/24/swap-linux-beta/)。 * 原生边车容器进入 Alpha 阶段，新增 SidecarContainers 特性门控，开启后支持在 Init 容器中配置`restartPolicy`字段。详情请参见：[原生边车容器](https://kubernetes.io/blog/2023/08/25/native-sidecar-containers/)。 * podresources API 进入 GA 阶段，它是由 kubelet 提供的节点本地 API，最初为了 [监控设备信息](https://kubernetes.io/docs/concepts/extend-kubernetes/compute-storage-net/device-plugins/#monitoring-device-plugin-resources) 提出，逐步扩大范围，目前可用于查询分配给容器的计算资源。详情请参见：[podresource API](https://kubernetes.io/blog/2023/08/23/kubelet-podresources-api-ga/)。 * 针对 CEL 表达式能力新增了多项特性： * CRD 使用 CEL 进行 Validate 功能进入 Beta 阶段，通过将 CEL 集成在 CRD 中，可以使开发中在不使用 Webhook 的情况下解决大部分 CR 示例的验证用例。详情请参见：[CRD 校验表达式语言](https://github.com/kubernetes/enhancements/tree/master/keps/sig-api-machinery/2876-crd-validation-expression-language)。 * 基于 CEL 的准入控制进入 Beta 阶段，支持通过声明式的方式验证资源请求，支持使用 [CEL 表达式](https://kubernetes.io/docs/reference/using-api/cel/#cel-community-libraries) 编写复杂的验证规则，代替部署 Webhook 准入控制。详情请参见：[验证准入策略](https://kubernetes.io/docs/reference/access-authn-authz/validating-admission-policy/)。 * ServiceNodePortStatic 功能进入 Beta 阶段，允许保留静态端口范围，避免与动态分配端口冲突。详情请参见：[为 NodePort Service 分配端口时避免冲突](https://kubernetes.io/blog/2023/05/11/nodeport-dynamic-and-static-allocation/)。 * 混合版本代理功能进入 Alpha 阶段，当集群中存在多个不同版本的 kube\-apiserver 时，混合版本代理使对资源的 HTTP 请求能够被正确的 kube\-apiserver 处理。详情请参见：[混合版本代理](https://kubernetes.io/blog/2023/08/28/kubernetes-1-28-feature-mixed-version-proxy-alpha/)。 * 缓存一致性读取功能进入 Alpha 阶段，新增 ConsistentListFromCache 特性门控，允许通过监视缓存（Watch cache）实现 List 一致性读取，详情请参见：[缓存一致性读取](https://github.com/kubernetes/enhancements/tree/master/keps/sig-api-machinery/2340-Consistent-reads-from-cache)。 * kubelet 支持配置 drop\-in 目录功能进入 Alpha 阶段，新增`--config-dir`配置，允许用户插入指定目录覆盖原始的`/etc/kubernetes/kubelet.conf`配置。 * Pod 的 InPlace VPA 功能进入 Beta 阶段。通过对 API Server、Scheduler 和 Kubelet 进行升级改造，支持在不重启 Pod 的情况下修改 CPU 和内存的 Request/Limit 值。详情请参见：[调整分配给容器的 CPU 和内存资源](https://kubernetes.io/docs/tasks/configure-pod-container/resize-container-resources/)。 #### 在 Kubernetes v1.27 版本 * SeccompDefault 功能进入 GA 阶段，支持通过 kubelet 命令行参数`--seccomp-default`启用 RuntimeDefault 作为所有工作负载的默认 seccomp 配置文件。详情请参见：[kubelet 启动参数](https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/)。 * Pod 拓扑分布约束控制有多项功能进入 Beta 阶段，包括支持设定 Pod 最少分布域、支持拓扑约束调度时考虑亲和性和污点、解决滚动更新时无法约束拓扑分布的问题等。详情请参见：[更多细粒度的 Pod 拓扑分布策略](https://kubernetes.io/blog/2023/04/17/fine-grained-pod-topology-spread-features-beta/)。 * StatefulSet 有多项功能进入 Beta 阶段，包括支持 Pod 从非零数作为起始序号、支持指定删除关联创建的 PVC、缩容时自动删除关联创建的 PVC。详情请参见：[StatefulSet Start Ordinal Simplifies Migration](https://kubernetes.io/blog/2023/04/28/statefulset-start-ordinal/)、[StatefulSet PVC Auto-Deletion](https://kubernetes.io/blog/2023/05/04/kubernetes-1-27-statefulset-pvc-auto-deletion-beta/)。 * kubelet 新增`maxParallelImagePulls`字段配置，限制并行拉取的镜像数量，防止镜像拉取消耗过多的网络带宽或磁盘 I/O。详情请参见：[maxParallelImagePulls](https://kubernetes.io/docs/concepts/containers/images/#maximum-parallel-image-pulls)。 * Job 可变调度指令进入 GA 阶段，支持 Job 在挂起阶段修改 Pod 中的调度部分，包括节点选择器、节点亲和性、反亲和性、容忍度。详情请参见：[Job 可变调度指令](https://kubernetes.io/docs/concepts/workloads/controllers/job/#mutable-scheduling-directives)。 * Downward API HugePages 进入 GA 阶段，支持在 Pod 的`spec.resources`里通过资源`hugepages-2Mi`或者`hugepages-1Gi`来配置 HugePages 限制。如果需要配置多种类型 HugePages，需要配置 HugePages 类型的 Volume。详情请参见：[Manage HugePages](https://kubernetes.io/docs/tasks/manage-hugepages/scheduling-hugepages/)。 * Pod 调度就绪态进入 Beta 阶段。在 Pod 中引入`.spec.schedulingGates`字段，表示定义 Pod 是否允许开始调度。 * ReadWriteOncePod 访问模式进入 Beta 阶段，该访问模式用于限制 PV 被单个节点上的单个 Pod 的访问。ReadWriteOnce 模式限制了单节点访问，但并不限制多个 Pod 同时访问同一个节点。详情请参见：[持久卷的单 Pod 访问模式升级到 Beta](https://kubernetes.io/blog/2023/04/20/read-write-once-pod-access-mode-beta/)。 * 快速标记 SELinux 卷标签功能进入 Beta 阶段，优化卷挂载过程中 SELinux 标签的使用，加快容器启动速度，详情请参见：[Speed up SELinux volume relabeling using mounts](https://github.com/kubernetes/enhancements/tree/master/keps/sig-storage/1710-selinux-relabeling)。 * VolumeManager 重构进入 Beta 阶段，允许 kubelet 在启动期间带上关于现有卷如何挂载的附加信息。 * 服务器端字段校验和 OpenAPI 的最新标准 OpenAPI v3 进入 GA 阶段。详情请参见：[服务器端字段校验和 OpenAPI V3 进阶至 GA](https://kubernetes.io/blog/2023/04/24/openapi-v3-field-validation-ga/)。 * 控制 StatefulSet 启动顺序功能进入 Beta 阶段，默认允许通过`spec.ordinals.start`在 StatefulSet 中配置启动序号。详情请参见：[StatefulSet 启动序号简化了迁移](https://kubernetes.io/blog/2023/04/28/statefulset-start-ordinal/)。 * StatefulSet PVC 自动删除功能进入 Beta 阶段，用户可以配置 whenDeleted 或 whenScaled，触发 Retain 或 Delete 行为。其中 Retain 是默认行为，只有配置了 Delete 策略的 StatefulSet 在被删除时才会触发对应的 PVC 删除动作，详情请参见：[KEP-1847](https://kubernetes.io/blog/2023/05/04/kubernetes-1-27-statefulset-pvc-auto-deletion-beta/)、[PersistentVolumeClaim 保留](https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/#persistentvolumeclaim-retention)。 * 磁盘卷组快照功能进入 Alpha 阶段，支持 Pod 维度所有卷的 **组快照** 功能，无需担心备份不同卷时的时间差。详情请参见：[KEP-3476](https://github.com/kubernetes/enhancements/issues/3476)、[用于磁盘卷组快照的新 API](https://kubernetes.io/blog/2023/05/08/kubernetes-1-27-volume-group-snapshot-alpha/)。 * 重构`kubectl apply --prune`以提升性能，增加`kubectl apply --prune --applyset`的剪裁方式。详情请参见：[使用配置文件对 Kubernetes 对象进行声明式管理](https://kubernetes.io/docs/tasks/manage-kubernetes-objects/declarative-config/#%E6%9B%BF%E4%BB%A3%E6%96%B9%E5%BC%8F-kubectl-apply-f-%E7%9B%AE%E5%BD%95-prune)。 * 新增 ServiceNodePortStaticSubrange 特性门控，开启后 NodePort Service 会使用不同的端口分配策略。 * 原地调整 Pod 资源功能进入 Alpha 阶段，新增 InPlacePodVerticalScaling 特性门控，支持在不重启 Pod 和容器的情况下调整 Pod 容器中`resources`字段下的 CPU 和 Memory，即纵向弹性伸缩。详情请参见：[KEP-1287](https://github.com/kubernetes/enhancements/issues/1287)、[原地调整 Pod 资源](https://kubernetes.io/blog/2023/05/12/in-place-pod-resize-alpha/)。 * KMS V2 进入 Beta 阶段，对 KMS 加密提供程序的性能进行优化。详情请参见：[使用 KMS 驱动进行数据加密](https://kubernetes.io/docs/tasks/administer-cluster/kms-provider/)。 ### 废弃和移除功能 #### 在 Kubernetes v1.28 版本 * 废弃 CephFS 和 RBD 树内存储插件，建议转为使用第三方存储驱动 [CephFS CSI](https://github.com/ceph/ceph-csi/)。 * kube\-scheduler 移除命令行参数`--lock-object-namespace`和`--lock-object-name`，使用`--leader-elect-resource-namespace`和`--leader-elect-resource-name`替代。 * kubectl 移除命令行参数`--short`，`kubectl version`的默认输出与`kubectl version --short`相同。 * kube\-controller\-manager 开始废弃命令行参数`--volume-host-cidr-denylist`和`--volume-host-allow-local-loopback`。 * kubelet 开始废弃命令行参数`--azure-container-registry-config`参数，使用`--image-credential-provider-config`和`--image-credential-provider-bin-dir`替代。 * KMSv1 已经废弃。如果仍需兼容使用 KMSv1，需设置`--feature-gates=KMSv1=true`特性门控，建议使用 KMSv2。 * kube\-controller\-manager 中新增`--concurrent-cron-job-syncs`参数，用于配置 CronJob 控制器的并发度，新增`--concurrent-job-syncs`参数，用于配置 Job 控制器的并发度。详情请参见：[#117550](https://github.com/kubernetes/kubernetes/pull/117550/files)、[#117138](https://github.com/kubernetes/kubernetes/pull/117138/files)。 * 移除了如下特性门禁：DelegateFSGroupToCSIDriver、DevicePlugins、KubeletCredentialProviders、MixedProtocolLBService、ServiceInternalTrafficPolicy、ServiceIPStaticSubrange、EndpointSliceTerminatingCondition。 #### 在 Kubernetes v1.27 版本 * kube\-controller\-manager 移除命令行参数`--pod-eviction-timeout`和`--enable-taint-manager`。 * kubelet 移除命令行参数`--container-runtime`、`--container-runtime-endpoint`和`--image-service-endpoint`。 * kube\-apiserver 移除命令行参数`--master-service-namespace`。 * kube\-controller\-manager 移除命令行参数`--enable-taint-manager`和`--pod-eviction-timeout`。 * kubelet 移除命令行参数`--container-runtime`和`--master-service-namespace`。 * metrics 发生如下变更：`node_collector_evictions_number`被替代为`node_collector_evictions_total`、`scheduler_e2e_scheduling_duration_seconds`被替代为`scheduler_scheduling_attempt_duration_seconds`。 * 移除如下特性门禁：IPv6DualStack、ExpandCSIVolumes、ExpandInUsePersistentVolumes、ExpandPersistentVolumes、ControllerManagerLeaderMigration、CSI Migration、CSIInlineVolume、EphemeralContainers、LocalStorageCapacityIsolation、NetworkPolicyEndPort、StatefulSetMinReadySeconds、IdentifyPodOS、DaemonSetUpdateSurge。详情请参见：[Kubernetes v1.27 Removal](https://kubernetes.io/blog/2023/03/17/upcoming-changes-in-kubernetes-v1-27/#api-removals-and-other-changes-for-kubernetes-v1-27)。 ### API 版本弃用 * 从容器服务发布 Kubernetes v1.28 版本起，容器服务集群中扩展调度器使用的 PodGroup CRD APIGroup 发生变化，将使用`scheduling.x-k8s.io`取代`scheduling.sigs.k8s.io`。详情请参见 [BREAKING CHANGE: switch API group to x-k8s.io](https://github.com/kubernetes-sigs/scheduler-plugins/pull/526)。 * 在 Kubernetes v1.28，移除 KubeSchedulerConfiguration 的`kubescheduler.config.k8s.io/v1beta2`版本 API，建议使用`kubescheduler.config.k8s.io/v1`。详情请参见：[移除 v1beta2 KubeSchedulerConfiguration](https://github.com/kubernetes/kubernetes/pull/117649)。 * 在 Kubernetes v1.28，移除 PVC 的`.status.resizeStatus`字段，替换为 Map 结构字段`.status.allocatedResourceStatus`，表示调整 PVC 大小时的状态。详情请参见： [PersistentVolumeClaimStatus](https://kubernetes.io/docs/reference/kubernetes-api/config-and-storage-resources/persistent-volume-claim-v1/#PersistentVolumeClaimStatus)。 * 在 Kubernetes v1.28，移除特性 NetworkPolicyStatus，Network Policy，不再有 Status 属性。 * 在 Kubernetes v1.27，移除 CSIStorageCapacity 的`storage.k8s.io/v1beta1`版本 API，建议使用`storage.k8s.io/v1`。 ## 参考链接关于 Kubernetes v1.28 版本的性能和功能演进的更多信息，请参见： * [CHANGELOG-1.28.md](https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.28.md) * [CHANGELOG-1.27.md](https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.27.md)