Nginx Ingress 最佳实践--容器服务-火山引擎

文档中心

立即注册

导航

Nginx Ingress 最佳实践

最近更新时间：2024.03.01 14:07:17首次发布时间：2022.05.13 22:03:40

nginx ingress 是 Kubernetes ingress 的一种实现，您可以通过 nginx ingress 接入 ingress 流量。本文为您介绍 ingress-nginx 组件常见的最佳实践操作。

背景信息

容器服务提供基于社区版的 Nginx Ingress Controller，它将 ingress 规则转换成 nginx 的配置，然后基于 nginx 来进行七层的流量转发。

容器服务 ingress-nginx 组件可以在创建集群时安装，也可以在集群创建完成后，在 组件管理 中单独安装。

配置实例个数

在容器服务集群中安装 ingress-nginx 组件后，组件的默认实例个数为 2。您也可以调整实例个数，满足生产业务的高可用。

登录容器服务控制台，在左侧导航栏中选择集群。
单击需要配置的目标集群，在集群管理页面的左侧导航栏中，选择 组件管理。
在 组件管理 页面的网络页签下，找到 ingress-nginx 组件，单击配置。
在 ingress-nginx 规格配置 对话框，配置 实例个数 为所需数值，然后单击确定。
（可选）当 ECS 的节点数大于或等于实例个数时，需要配置 ingress-nginx-controller 的反亲和调度策略，使组件的多个实例分散调度到不同的节点上。
说明
安装 ingress-nginx 组件后，会以无状态负载（对应名称为 ingress-nginx-controller）的方式部署到集群中。
1. 在集群管理页面的左侧导航栏中，选择 工作负载 > 无状态负载。
2. 在 无状态负载 页面的 kube-system 命名空间下，找到 ingress-nginx-controller，单击对应操作列的... > 更新。
3. 按照如下示意图说明，修改配置。详细的操作步骤和参数说明，请参见更新无状态负载。
  - 控制台操作示意图如下：
  - Yaml 文件代码片段如下：
```
podAntiAffinity:
  requiredDuringSchedulingIgnoredDuringExecution:
  - labelSelector:
      matchLabels:
        app.kubernetes.io/name: ingress-nginx
    namespaces:
    - kube-system
    topologyKey: kubernetes.io/hostname
```

配置资源监控和告警

在容器服务集群中，nginx ingress 资源通过对接火山引擎云监控产品来实现监控和告警，包括：采集、查询、展示（Dashboard）以及告警等。

说明

需要提前开启火山引擎云监控产品。

配置资源采集

nginx ingress 对接火山引擎云监控产品，需要安装 metrics-collector 组件。

登录容器服务控制台，在左侧导航栏中选择集群。
单击需要配置的目标集群，在集群管理页面的左侧导航栏中，选择 组件管理。
安装 metrics-collector 组件，配置资源采集。

配置资源监控

配置完成资源采集后，支持到 云监控控制台 中配置资源监控。详细操作，请参见查看容器服务监控数据。

登录云监控控制台。
在左侧菜单栏中，单击 云产品监控，选择 容器服务。
在 容器服务 产品监控页面，选择 容器组 维度，并通过目标集群、命名空间 kube-system 和工作负载类型进行筛选，选择 ingress-nginx-controller 工作负载。
筛选完成后单击容器组（Pod）名称，即可查看 ingress-nginx-controller 的容器组资源监控信息。

配置资源告警

在 云监控控制台 支持配置资源告警策略。当监控数据达到阈值，触发告警后，系统会将告警资源、故障类型、当前值、告警持续时间等详细信息发送给告警联系人。详细操作，请参见创建告警策略和创建告警联系人和联系组。

在云监控控制台在左侧菜单栏中，单击 云产品监控，选择 容器服务。
在 容器服务 产品监控页面，选择 容器组 维度，并通过目标集群、命名空间 kube-system 和工作负载类型进行筛选，选择 ingress-nginx-controller 工作负载。
单击筛选出的容器组名称，并在详情面板的 告警策略 页签，单击 创建告警策略，新建一个告警策略。
配置 ingress-nginx-controller 对应容器组的 CPU、内存、网络指标等告警。详细的参数配置说明，请参见创建告警策略。

修改资源限制

默认配置下，ingress-nginx-controller 的 CPU 资源限制是 0.5 core，内存限制是 1 GiB。如果您的业务流量较大，建议资源配额 CPU 上限不低于1 core，内存上限不低于2 GiB。您可以根据业务的实际需要调整 ingress-nginx-controller 组件的资源限制。

说明

更改 ingress-nginx-controller 的资源配额前，首先确保实例个数在 2 以上。详细操作，请参见本文上方配置实例个数。
更改配置后滚动更新实例，可能会造成业务流量抖动在 1 分钟以内长链接中断重连，因此建议您在业务流量低峰期操作。

登录容器服务控制台，在左侧导航栏中选择集群。
单击需要配置的目标集群，在集群管理页面的左侧导航栏中，选择 组件管理。
在 组件管理 页面的网络页签下，找到 ingress-nginx 组件，单击配置。
在 ingress-nginx 规格配置 对话框，配置 Nginx 配置 为所需数值，然后单击确定。更多参数说明，请参见 ingress-nginx 组件

专属节点

为了进一步确保 nginx ingress 的性能和稳定性，可以将 ingress-nginx-controller 的多个实例部署在一些高配置节点上，以避免不同实例资源的抢占和单点故障。

下面以 ingress-nginx-controller 的 2 个实例分别独占 2 个专属节点为例，介绍配置步骤。

在集群中创建两个专属的 Worker 节点。您可以在已有节点池中增加 2 个新的节点，也可以通过创建节点池的方式新增 2 个专属节点。详细操作，请参见新增节点。
分别给两个专属节点添加键：ingress-nginx、值：true 的标签。详细操作，请参见标签管理。
分别给两个专属节点添加污点，禁止没有容忍度的 Pod 调度到专属节点上。此处使用和标签相同的键/值。详细操作，请参见污点管理。
配置工作负载的污点容忍规则，使 ingress-nginx-controller 实例可以被调度到专属节点上。详细参数说明，请参见创建无状态负载中的调度策略参数说明。
- 控制台操作示意图如下：
- Yaml 文件代码片段如下：
```
tolerations:
- effect: NoExecute
  key: ingress-nginx
  operator: Equal
  value: "true"
```
为 log-collector 等 daemonset（守护进程）设置相同的污点容忍规则，使相应的实例可以部署到专属节点上进行工作。
设置 nodeSelector 使 ingress-nginx-controller 实例只能调度到专属节点，禁止实例调度到其他节点。
```
nodeSelector:
  ingress-nginx: "true"
```

设置反亲和调度策略，使 ingress-nginx-controller 的两个实例不能被调度到同一个节点上，保障高可靠。
alt

podAntiAffinity:
  requiredDuringSchedulingIgnoredDuringExecution:
  - labelSelector:
      matchLabels:
        app.kubernetes.io/name: ingress-nginx
    namespaces:
    - kube-system
    topologyKey: kubernetes.io/hostname

配置完成后，查看 ingress-nginx-controller 的实例部署情况

日志持久化

默认情况下，ingress-nginx-controller 的日志没有进行持久化存储，需要您进行配置开启，实现 ingress-nginx-controller 日志持久化采集、存储以及查询。为了更好地展示 ingress-nginx-controller 日志内容，提升可读性，容器服务将 ingress-nginx-controller 日志采集作为一个独立功能供您使用。

说明

需要开通日志服务。若未开通，请登录日志服务控制台，根据控制台向导提示，开通服务。
需要安装 log-collector 组件、ingress-nginx 组件。相关操作，请参见安装组件。
需要提前在日志服务中创建 日志项目 和 日志主题。详细操作，请参见日志项目和日志主题。

开启 ingress-nginx 组件的日志采集功能。详细操作，请参见采集 ingress 组件日志。
查看 ingress-nginx 组件的日志。
当不需要 ingress-nginx 日志时，可以单击 组件日志 页签下的 关闭 Ingress 访问日志。关闭后，系统不再采集 Ingress Nginx Controller 组件的日志。

自定义配置原生参数

在 Kubernetes 集群中，路由规则（ingress）对集群服务（service）中外部可访问的 API 对象进行管理，提供七层负载均衡能力，可以给 ingress 配置提供外部可访问的 URL、Rewrite 配置、HTTPS 服务、以及灰度发布功能等高级功能。

针对 Ingress Nginx Controller，容器服务采用与社区完全兼容的配置方式。关于所有的配置说明，请参见 NGINX Configuration。

ingress nginx 原生支持的部分高级功能/高级配置可以基于 Annotation 的方式进行配置和实现。在每个ingress Yaml 的 Annotation 里配置，只对本 ingress 生效。更多信息请参见 Annotations。

配置示例：自定义最大请求体

对于 nginx，当请求 body 大小超过客户端请求最大允许值时，将向客户端返回413错误。这个大小可以通过参数client_max_body_size来配置。

如果您想为集群内 所有 ingress 规则 配置全局参数，可以在 配置项 中对 kube-system 下的 ingress-nginx-controller 增加 proxy-body-size 键值对。

更新 configmap 后，进入 kube-system 下的 ingress-nginx-controller 容器内查看 nginx 配置是否生效。
如果只针对 特定的 ingress 规则 使用自定义值，可以在此 ingress 规则中添加 Annotaion。
```
nginx.ingress.kubernetes.io/proxy-body-size: 20m
```