咨询Fluent Bit GCS输出插件维护状态及配置示例

截止当前Fluent Bit官方稳定版的内置输出插件列表中，没有提供原生的Google Cloud Storage（GCS）直连输出插件，所有GCS对接方案目前都基于第三方实现、兼容适配或者中转链路。
你找到的第三方fluent-bit-go-gcs项目，从公开提交记录看最后一次有效代码更新在2022年，近2年没有功能迭代、依赖升级和问题响应，不建议直接在生产环境使用，存在依赖库安全漏洞、GCS API版本不兼容、新版Fluent Bit加载失效的风险。

• 中转方案：用Fluent Bit原生内置的Google Cloud Pub/Sub输出插件先把日志投递到Pub/Sub，再通过Pub/Sub的推送订阅配置自动把日志落地到GCS，这是Google官方推荐的无自定义代码路径，稳定性最高。
• 直连方案1：利用GCS提供的S3兼容API，用Fluent Bit原生内置的S3输出插件直接对接GCS，不需要额外安装第三方插件，维护成本最低，也是目前最常用的直连方案。
• 直连方案2：如果有特殊定制需求，可以基于Fluent Bit官方的Go插件SDK，参考现有开源GCS插件的逻辑开发适配当前版本的自定义输出插件，编译为动态链接库后加载使用。

提前在GCP控制台为目标服务账号创建HMAC密钥，给账号分配存储桶的对象写入、删除最小权限，之后参考如下配置：

[OUTPUT]
    Name              s3
    Match             *
    # GCS S3兼容服务端点
    Host              storage.googleapis.com
    Port              443
    TLS               On
    # 替换为实际使用的GCS存储桶名称
    Bucket            your-gcs-bucket-name
    # 替换为服务账号对应的HMAC Access Key
    Access_Key_ID     YOUR_GCS_HMAC_ACCESS_KEY
    # 替换为服务账号对应的HMAC Secret Key
    Secret_Access_Key YOUR_GCS_HMAC_SECRET_KEY
    # GCS兼容S3签名使用v4版本
    Signature_Version v4
    # 替换为存储桶所在的GCP区域，例如us-central1、asia-east1
    Region            your-gcs-bucket-region
    # 上传到GCS的文件路径前缀，支持按时间变量分目录
    S3_Prefix         logs/year=%Y/month=%m/day=%d/
    # 单缓存文件达到10M时触发上传
    Upload_Chunk_Size 10M
    # 每5分钟强制上传一次缓存中的存量日志
    Flush             300
    # 开启gzip压缩降低存储开销
    Compression       gzip

• 原生S3插件对接GCS仅支持HMAC密钥鉴权，无法直接使用GCP服务账号的JSON密钥文件，需要提前在GCP控制台的云存储设置页创建HMAC密钥对。
• 初期调试时可以开启Fluent Bit的Info级以上日志，确认上传请求无报错后，到GCS控制台随机抽查上传的文件，确认日志无乱码、无截断、时间戳匹配再切生产流量。
• 如果选择Pub/Sub中转方案，记得配置合理的消息保留时长和死信队列，避免异常情况下日志丢失。

内容的提问来源于stack exchange，提问作者skarsky