如何通过Logstash将Elasticsearch索引导出至GCS Bucket内文件夹

问题分析与解决 #

1. GCS Bucket文件夹的正确设置方式

GCS输出插件的bucket参数仅能填写桶的名称，不能直接拼接文件夹路径（比如bucketName/folderName这种写法完全无效）。要指定桶内的目标文件夹，需要通过log_file_prefix参数实现——在原有前缀前添加文件夹路径即可。

2. 原配置的语法错误（必须修正）

你把filter块嵌套在了elasticsearch input的query字符串内部，这不符合Logstash的配置语法规范。Logstash的filter是独立的顶级配置块，不能放在input的参数内部。这个错误会导致Logstash无法正确加载配置，也是数据上传失败的关键原因之一。

3. 修正后的完整配置

input {
  elasticsearch {
    hosts => "localhost:9200"
    index => "test"
    query => '{
      "_source": ["field1","field2"],
      "query": {
        "match_all": {}
      }
    }'
  }
}

filter {
  mutate {
    rename => {
      "field1" => "test1"
      "field2" => "test2"
    }
  }
}

output {
  google_cloud_storage {
    codec => csv {
      include_headers => true
      columns => [ "test1", "test2" ]
    }
    bucket => "bucketName"
    json_key_file => "creds.json"
    temp_directory => "/tmp"
    # 添加文件夹路径后，文件会上传到bucketName/folderName/目录下
    log_file_prefix => "folderName/logstash_gcs"
    max_file_size_kbytes => 1024
    date_pattern => "%Y-%m-%dT%H:00"
    flush_interval_secs => 600
    gzip => false
    uploader_interval_secs => 600
    include_uuid => true
    include_hostname => true
  }
}

4. 验证要点

• 先验证配置语法：执行logstash -f your_config.conf --config.test_and_exit，确保无语法错误
• 启动Logstash后，检查GCS桶内的folderName目录，确认文件是否生成
• 查看Logstash日志（默认路径为/var/log/logstash/），排查是否有权限或其他运行时错误

内容的提问来源于stack exchange，提问作者Amulya M