Logstash插件

火山引擎DataSail提供数据上报logstash http插件接入，用户在开通DataSail服务之后，可以通过插件将数据上报到火山云DataSail。

服务开通

请确保您已开通了您需要访问的服务。您可前往火山引擎控制台开通全域数据集成服务，详见服务开通。

获取安全凭证

Access Key（访问密钥）是访问火山引擎服务的安全凭证，包含Access Key ID（简称为AK）和Secret Access Key（简称为SK）两部分。您可登录火山引擎控制台，前往访问控制 的访问密钥 中创建及管理您的Access Key。更多信息可参考访问密钥帮助文档 。

产品接入

1. 申请Topic

路径：数据采集-topic管理-新建Topic

2. 申请数据采集

路径：数据采集-采集管理-新建采集任务

获取应用信息

1、获取租户ID/TenantID

2、获取采集任务ID/TaskID

3、DataSail Endpoint

配置Logstash HTTP输出插件接入DataSail

Logstash支持配置多个输出

output {
    datahub {
    }
    
    file {
    }
    
    http {
      url => "******"
      http_method => "post"
      headers => {
        "X-Collect-Tenant-Id" => "******"
        "X-Collect-Content-Type" => "batch_json"
      }
      content_type => "application/json"
      format => "json_batch"
    }
}

HTTP插件参数

数据有序性

HTTP输出插件会并发发起请求，并发数通过 pool_max 参数控制。
由于使用了并发请求，数据写到下游无法保障有序。

重试策略

Lib级重试参数

• automatic_retries

  • 默认值为：1

  • Lib级别自动重试次数

• retry_non_idempotent

  • 默认值为：false

  • 需要设置为 true，才会对 POST 请求进行重试，写入DataSail使用POST请求

Plugin级重试参数

• retry_failed

  • 默认值为：true

  • 插件会对retryable_codes 定义的状态码和其他可重试的异常（socket timeout/ error, DNS resolution failure 和 client protocol exception）进行无限重试

• retryable_codes

  • 默认值为：[429, 500, 502, 503, 504]

  • 设置对哪些 Http 状态码进行重试