> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系... 创建日志采集配置;4. LogCollector 定期请求 TLS Server,获取新的采集配置并进行热加载; 5. LogCollector 根据采集配置采集各个容器上的标准输出或文本日志;6. LogCollector 将采集到的日志发送给 TLS Server。...
服务器配置(物理机or虚拟机or云主机)还可选择更高配些! Ok,now,有了这些前提条件,接下来开始**安装部署**我们**译点笔记应用**-所需要的**服务组件**: ## 系统环境准备**系统环境**首先,在云后台-... yum源方式安装:示例:包存在yum install mysql-server示例:包不存在(镜像站RPM或源码编译方式)通过wget方式下载repo源:wget http://repo.mysql.com/mysql-community-***.***.rpm安装:rpmrpm -ivh mysql-commu...
作者:刘卯银|火山引擎日志系统架构师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。谈到日志系统,首先要从日志说起,日志在 IT 系统里... 6. LogCollector 将采集到的日志发送给 TLS Server。#### 适合大规模、多租户场景的客户端![图片 8-更新.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7237fa4258fd48be839bc7427aabc03f~tplv-k...
# 前言在本教程中,您将学习如何创建云搜索服务,并收集syslog日志。# 关于实验预计部署时间:40分钟级别:初级相关产品:云搜索服务云服务器受众: 通用# 环境说明1. 如果还没有火山引擎账号,点击此[链... 并安装Logstash(7.10.2)创建以**.repo**结尾的yum源文件,并移动到/etc/yum.repos.d/文件夹中,文件内容如下:```undefined[root@i-3tmpsu0gq94d2esykd20 yum.repos.d]# cat logstash.repo[logstash-7.x]name=El...
使用 SDK 进行日志服务各类操作前,您需要安装 SDK。本文介绍 Android SDK 的安装方法。 前提条件已创建并获取 AccessKey。 访问密钥 AccessKey 拥有所有 API 的访问权限,风险很高。建议您创建并使用 IAM 用户进行 API 访问或日常运维。使用 IAM 用户操作前,请确认已为 IAM 用户赋予操作日志服务资源的权限。 准备开发环境日志服务 Android SDK 支持 Android 4.0 及后续版本,安装火山引擎日志服务 Android SDK 之前,请确认已准备...
采集容器文本日志或容器标准输出之前,需要先在 Kubernetes 集群中安装 LogCollector,并配置相关环境。本文介绍通过 DaemonSet 方式安装 LogCollector 的操作步骤。 背景信息本文以 DaemonSet 方式为例,介绍如何在 Kubernetes 集群上安装 LogCollector。在安装的过程中,主要完成以下步骤: 创建 LogCollector 的 ConfigMap。 配置 ServiceAccount、ClusterRole、ClusterRoleBinding,完成 LogCollector 的认证和授权。 创建 LogColl...
日志服务支持通过 SDK 消费采集到服务端的日志数据。本文档通过示例代码演示如何通过 Go SDK 消费日志。 前提条件已安装日志服务 Go SDK。更多信息,请参见安装 Go SDK。 已执行以下命令安装 proto 依赖包。 Shell go get -u github.com/gogo/protobuf/proto 已添加 VOLCENGINE_ACCESS_KEY_ID 等环境变量。环境变量的配置方式请参考配置身份认证信息。 注意 推荐通过环境变量动态获取火山引擎密钥等身份认证信息,以免 AccessKey ...
通过 DaemonSet 或 Sidecar 方式采集日志时,均可以通过 LogCollector CRD 方式创建采集配置。本文档介绍在 Kubernetes 集群中安装 LogCollector CRD 的操作步骤。 背景信息如果选择通过 LogCollector CRD 方式创建采集配置,应在 Kubernetes 集群中安装 LogCollector 组件后,安装 LogCollector CRD。安装流程分为以下步骤: 安装 LogCollectorRule CRD。在 Kubernetes 集群中创建一个 YAML 文件,应用该 YAML 文件即可。 安装 LogCo...
使用 SDK 进行日志服务各类操作前,您需要安装 SDK。本文介绍 Python SDK 的安装方法。 前提条件已创建并获取 AccessKey。 访问密钥 AccessKey 拥有所有 API 的访问权限,风险很高。建议您创建并使用IAM用户进行 API 访问或日常运维。使用 IAM 用户操作前,请确认已为 IAM 用户赋予操作日志服务资源的权限。 准备开发环境请参考 Python 官网下载并安装 Python 开发环境或使用 conda 创建 Python 虚拟环境。Python SDK 支持 Python ...
日志服务支持通过 DaemonSet 方式采集 Kubernetes 集群的容器文本日志,本文档演示控制台创建采集配置的相关操作步骤。 背景信息在容器中安装日志服务提供的采集插件 LogCollector、并创建采集配置之后,LogCollector 会根据容器中的 Label 和环境变量确定待采集的容器,持续采集指定容器路径内产生的文本日志,并将文本日志和容器名等容器相关的元数据信息一起上传至服务端。LogCollector 还支持断点续传,checkpoint 文件中会留存采...
本文为您介绍如何将注册节点日志采集到日志服务。 说明 【邀测·申请试用】:云原生观测功能和注册节点日志采集组件目前处于邀测阶段,如需使用,请提交申请。 背景信息分布式云原生平台提供的注册节点服务是火山引擎打造的标准、成熟、稳定的全新升级节点形态,主要用于解决大量闲散计算资源无法高效利用和运维的痛点。用户仅需运维本地服务器,本地搭建/运维 Kubernetes 集群由注册节点服务统一运维管控,帮助用户解决分布式基础设施...
在多种自建场景的日志采集方案中被用于消息管道。例如在日志源服务器中的开源采集工具采集日志,或通过 Producer 直接写入日志数据,再通过消费管道供下游应用进行消费。日志服务支持通过 Kafka 协议上传和消费日志数据,基于 Kafka 数据管道提供完整的数据上下行服务。使用 Kafka 协议上传日志功能,无需手动开启功能,无需在数据源侧安装数据采集工具,基于简单的配置即可实现 Kafka Producer 采集并上传日志信息到日志服务。日志服务...
日志服务支持通过 SDK 消费采集到服务端的日志数据。本文档通过示例代码演示如何通过 Java SDK 消费日志。 前提条件已安装日志服务 Java SDK。更多信息,请参见安装 Java SDK。 已添加 VOLCENGINE_ACCESS_KEY_ID 等环境变量。环境变量的配置方式请参考配置身份认证信息。注意 推荐通过环境变量动态获取火山引擎密钥等身份认证信息,以免 AccessKey 硬编码引发数据安全风险。 消费日志 场景说明本文档通过示例代码演示如何通过 S...