如何将GKE容器日志发送至Memorystore for Redis实例？

以下是几种可行的实现方式，你可以根据集群规模和日志量选择适合的方案：

方案1：自定义带Redis插件的FluentBit镜像替换内置组件 #

GKE允许替换托管的内置FluentBit镜像，你可以编译包含Redis输出插件的自定义镜像来实现需求：

• 编译并构建自定义镜像：
  基于官方FluentBit镜像，在Dockerfile中加入Redis插件的编译步骤：

  FROM fluent/fluent-bit:2.2
  RUN apk add --no-cache build-base redis-dev
  RUN git clone https://github.com/fluent/fluent-bit-output-redis.git /tmp/redis-plugin \
      && cd /tmp/redis-plugin \
      && mkdir build && cd build \
      && cmake .. \
      && make \
      && cp bin/out_redis.so /fluent-bit/plugins/
  

  构建完成后将镜像推送到GCR或Artifact Registry：

  docker build -t gcr.io/[你的项目ID]/fluent-bit-redis:v1 . && docker push gcr.io/[你的项目ID]/fluent-bit-redis:v1
  

• 替换GKE内置FluentBit：
  通过GKE控制台或gcloud命令将内置FluentBit的镜像替换为你构建的自定义镜像，然后在FluentBit配置中添加Redis输出段：

  [OUTPUT]
      Name          redis
      Match         *
      Host          [你的Memorystore Redis实例IP]
      Port          6379
      List          gke-logs
      Format        json
  

  注意：确保GKE节点与Memorystore Redis在同一VPC内，节点默认有权限访问同VPC的Memorystore实例。

方案2：使用Sidecar容器直接转发日志 #

不需要修改集群级的FluentBit，给每个应用Pod添加Sidecar容器，直接读取应用stdout日志并发送到Redis：

• 示例Pod配置片段：

  apiVersion: v1
  kind: Pod
  metadata:
    name: app-with-redis-logging
  spec:
    containers:
    - name: app
      image: 你的应用镜像
      stdout: true
    - name: log-forwarder
      image: redis:alpine
      command: ["/bin/sh", "-c"]
      args:
      - "tail -f /var/log/containers/app-*.log | while read line; do redis-cli -h [Memorystore IP] -p 6379 RPUSH gke-logs \"$line\"; done"
      volumeMounts:
      - name: docker-logs
        mountPath: /var/log/containers
    volumes:
    - name: docker-logs
      hostPath:
        path: /var/log/containers
        type: Directory
  

  注意：这种方式需要保证Sidecar容器能访问节点上的容器日志目录，同时要评估Redis的写入性能是否能匹配日志生成速度。

方案3：引入中间转发服务（Fluentd） #

在集群内部部署Fluentd作为中转，利用Fluentd原生的Redis输出插件，让内置FluentBit先将日志发送到Fluentd，再由Fluentd转发到Memorystore：

• 部署Fluentd Deployment，配置如下：

  <source>
    type forward
    port 24224
  </source>
  
  <match **>
    type redis
    host [Memorystore IP]
    port 6379
    list gke-logs
    format json
  </match>
  

• 修改内置FluentBit的配置，添加输出到Fluentd的Forward端口：

  [OUTPUT]
      Name          forward
      Match         *
      Host          fluentd-service.default.svc.cluster.local
      Port          24224
  

  这种方式无需修改FluentBit镜像，利用现有组件兼容性，同时可以集中管理日志转发逻辑。

内容的提问来源于stack exchange，提问作者saeed ektesabi