You need to enable JavaScript to run this app.
导航

安装 LogCollector(宿主机)

最近更新时间2023.11.09 13:55:59

首次发布时间2021.10.11 18:04:05

LogCollector 是日志服务基于开源日志采集工具 Filebeat 二次开发的日志采集客户端,用于快速上报日志数据。在服务器中安装 LogCollector 之后,通过控制台或配置文件即可下发采集规则、快速接入日志服务。本文档介绍在 Linux 服务器上安装、升级或卸载 LogCollector 等操作。

背景信息

Filebeat 是 Elastic 开发的开源日志采集工具,将其部署到服务器之后,可以采集服务器文本日志到 ElasticSearch、Kafka、Logstash 等进行二次处理。火山引擎日志服务基于开源的 Filebeat 工具进行二次开发,适配了日志服务的服务端功能、增加多种日志解析模式,改造为 LogCollector 对外正式提供服务。
LogCollector 兼容开源 Filebeat 的多种特性,实时监听并上报日志数据,提高日志采集效率与性能。

准备工作

  • 一台符合环境要求的 Linux 服务器设备。
  • 预先根据服务器类型和所在地域,确定采集日志时所需的网络类型。

安装环境

LogCollector 支持多个 Linux 操作系统,推荐您使用以下经过兼容性测试的操作系统版本。

说明

LogCollector 目前仅支持 Linux x86-64(64位)操作系统环境,不支持 ARM 架构和 Windows 操作系统。

操作系统类别

操作系统版本

CentOS

CentOS 7.6、CentOS 7.7、CentOS 7.8、CentOS 7.9、CentOS 8.3

Ubuntu

Ubuntu 16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04

veLinux

veLinux 1.0

Fedora

Fedora 32、Fedora 33

OpenSUSE

OpenSUSE 15.2

Debian

Debian 9、Debian 10、Debian 10.9 、Debian 11.6

安装并启动

1 下载 LogCollector

根据地域与网络类型,执行对应的下载命令,下载 LogCollector 到指定目录下。

说明

  • 推荐使用私网下载地址,节约公网流量费用。
  • 默认下载与安装路径为 /usr/local,您也可以在命令行中指定其他路径。

私网下载地址

wget https://logcollector-cn-guangzhou.tos-cn-guangzhou.ivolces.com/logcollector.sh && bash ./logcollector.sh cn-guangzhou && cd /usr/local/filebeat-7.12.0

公网下载地址

wget https://logcollector-cn-guangzhou.tos-cn-guangzhou.volces.com/logcollector.sh && bash ./logcollector.sh cn-guangzhou && cd /usr/local/filebeat-7.12.0

2 安装 LogCollector

执行以下命令安装 LogCollector。

cd tools && ./filebeat.sh install

3 初始化 LogCollector

在安装路径下的目录 filebeat-7.12.0/tools 中,以 root 权限执行 LogCollector 初始化命令。
初始化命令如下:

./filebeat.sh init --endpoint {endpoint} --secret_id {AccessKeyID} --secret_key {AccessKeySecret} --region {region}

其中,endpointsecret_idsecret_keyregion 为必选参数,详细说明如下。

参数

是否必选

示例

说明

endpoint

必选

https://tls-cn-beijing.ivolces.com

日志服务连接域名,即服务地址。
登录日志服务控制台后,在日志项目的详情页中查看连接域名。日志服务支持的地域及对应服务地址请参考服务入口

secret_id

必选

AK********

火山引擎主账号或子账号的 Access Key ID。
在火山引擎控制台密钥管理页面,根据页面提示查看并复制 Access Key ID。

secret_key

必选

TUdZ********

火山引擎主账号或子账号的 Secret Access Key。
在火山引擎控制台密钥管理页面,根据页面提示查看并复制 Secret Access Key。

region

必选

cn-beijing

日志项目所在的地域(Region)。
日志服务地域及对应 ID 请参考服务入口

compress_type

可选

none

指定 LogCollector 通过哪种方式来压缩日志。

  • none:不压缩。
  • lz4:(默认)lz4 压缩。

ip

可选

10.1.1.*

机器的 IP 标识。

说明

  • 若未指定,LogCollector 会根据一定策略自动获取本机的 IP 地址,您可以在安装路径下 filebeat.yml 文件中查看 ip 字段记录的 IP 地址。IP 地址获取策略请参考为宿主机或容器设置 IP 地址
  • 不支持同时设置 iplabel

label

可选

http_module

机器的自定义标识。

说明

  • 如果需要将此机器加入机器标识类型的机器组中,则需要填写机器标识。多个标识之间通过逗号(,)分隔。
  • 不支持同时设置 iplabel

4 启动 LogCollector

执行以下命令启动 LogCollector。

systemctl start filebeatd.service 

启动后,Logcollector 进程变为运行状态,开始尝试与服务端进行通信。

相关操作

修改鉴权参数、机器标识等配置

LogCollector 运行过程中,如果需要修改 endpoint 等鉴权和机器组标识等相关参数,可以通过以下任意一种方式修改。

方法1:(推荐)重新初始化

停止 LogCollector 之后,重新执行初始化命令,并填写正确的参数,参数说明请参考初始化参数。最后再次启动 LogCollector 即可。

#停止 LogCollector
systemctl stop    filebeatd.service
#重新执行初始化命令,修改鉴权参数
./filebeat.sh init --endpoint https://tls-cn-beijing.ivolces.com --secret_id {AccessKeyID} --secret_key {AccessKeySecret} --region {region}
systemctl start   filebeatd.service

方法2:修改配置文件

在目录 filebeat-7.12.0/etc 中找到 LogCollector 配置文件 filebeat.yml,其中的 output.tls 部分默认为初始化时填写的 endpointip 等配置参数,初始化之后您可以随时修改这些参数,修改完成后重启 LogCollector 即可生效。
配置文件 filebeat.yml 示例如下。

filebeat:   

output.tls:
  endpoint: 'https://tls-cn-beijing.ivolces.com'  #--日志服务的服务地址
  secret_id: Your Secrect Id                      #--火山引擎账号密钥Access Key ID。
  secret_key: Your Secrect Key                    #--火山引擎账号密钥Secret Access Key。
  region: cn-beijing                              #--日志项目的所在地域(Region)。
  compress_type: lz4                              #--压缩类型,建议维持默认设置lz4
  ip: 10.1.x.x                                    #--手动指定的宿主机 IP 地址
logging.level: info                               #--filebeat日志级别
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 7
  permissions: 0644

查看软件版本

执行以下命令,查看当前设备所安装的 LogCollector 版本号。

/etc/init.d/filebeatd -v

进程管理

操作

命令

查看运行状态

systemctl status filebeatd.service

启动 LogCollector

systemctl start   filebeatd.service

停止 LogCollector

systemctl stop    filebeatd.service

重启 LogCollector

systemctl restart filebeatd.service

卸载 LogCollector

执行以下命令卸载 LogCollector。

说明

需要以管理员权限执行此命令。

cd /usr/local/filebeat-7.12.0/tools/ && ./filebeat.sh uninstall