工作日志服务器
社区干货
云原生环境下的日志采集、存储、分析实践
容器内的日志路径以及采集规则即可完成采集配置。因为不再需要编写代码,CRD 方式大幅提高了日志接入效率。CRD 的配置流程如下:1. 使用 Kubectl 命令创建 TLS LogConfig CRD;2. TLS Controller 监听到 CRD 配置更新;3. TLS Controller 根据 CRD 配置向 TLS Server 发送命令,创建 topic、创建机...
云原生环境下的日志采集、存储、分析实践
日志接入效率。CRD 的配置流程如下:1. 使用 Kubectl 命令创建 TLS LogConfig CRD;2. TLS Controller 监听到 CRD 配置更新;3. TLS Controller 根据 CRD 配置向 TLS Server 发送命...
云原生环境下的日志采集、存储、分析实践
6. LogCollector 将采集到的日志发送给 TLS Server。#### 适合大规模、多租户场景的客户端开源日志采集客户端一般只支持一个 Output,多个 Input 采用相同的 Pipeline,相互影响。为了适应大规模、多租户场景,火山引擎自研了日志采集的客户端 LogCollector。LogCollector 对不同的 Input...
干货 | 提速 10 倍!源自字节跳动的新型云原生 Spark History Server正式发布
> 近期火山引擎正式发布 UIMeta,一款致力于监控、分析和优化的新型云原生 Spark History Server,相比于传统的事件日志文件,**它在缩小了近乎 10 倍体积的基础上,居然还实现了提速 10 倍!**> > 目前,UIMeta Servi... 事件日志包含太多冗余信息,长时间运行的应用程序可能会带来巨大的事件日志,这可能需要大量维护并且需要很长时间才能重构 UI 数据从而提供服务。在大规模生产中,作业的数量可能很大,会给历史服务器带来沉重的负担。...
特惠活动
工作日志服务器-优选内容
工作日志服务器-相关内容
云原生环境下的日志采集、存储、分析实践
容器内的日志路径以及采集规则即可完成采集配置。因为不再需要编写代码,CRD 方式大幅提高了日志接入效率。CRD 的配置流程如下:1. 使用 Kubectl 命令创建 TLS LogConfig CRD;2. TLS Controller 监听到 CRD 配置更新;3. TLS Controller 根据 CRD 配置向 TLS Server 发送命令,创建 topic、创建机...
基于 IAM 角色实现跨账号访问日志服务
通过 IAM 角色,可实现火山引擎账号 B 访问火山引擎账号 A 中的日志服务资源。 本文介绍基于 IAM 角色跨账号访问日志服务的操作步骤。 场景示例企业 A 为提升业务开发效率与数据分析能力,已开通了日志服务。然而企业 A 希望聚焦核心业务的发展,将日常运营与数据分析工作委托给合作企业 B。在这种合作模式下,企业 A 需要确保数据安全的前提下,向企业 B 提供必要的日志服务访问权限。针对该需求,日志服务提供基于 IAM 角色跨账号访问...
使用 Kafka 协议上传日志
本文介绍通过 Kafka 协议将日志上传到日志服务的操作步骤。 背景信息Kafka 作为高吞吐量的消息中间件,在多种自建场景的日志采集方案中被用于消息管道。例如在日志源服务器中的开源采集工具采集日志,或通过 Produce... props.put("bootstrap.servers", "${hosts}"); props.put("acks", "1"); // NoResponse 0;WaitForLocal 1;WaitForAll -1 props.put("retries", 5); props.put("linger.ms", 100); ...
云原生环境下的日志采集、存储、分析实践
日志接入效率。CRD 的配置流程如下:1. 使用 Kubectl 命令创建 TLS LogConfig CRD;2. TLS Controller 监听到 CRD 配置更新;3. TLS Controller 根据 CRD 配置向 TLS Server 发送命...
通过日志服务采集注册节点的日志
本文为您介绍如何将注册节点日志采集到日志服务。 说明 【邀测·申请试用】:云原生观测功能和注册节点日志采集组件目前处于邀测阶段,如需使用,请提交申请。 背景信息分布式云原生平台提供的注册节点服务是火山引擎打造的标准、成熟、稳定的全新升级节点形态,主要用于解决大量闲散计算资源无法高效利用和运维的痛点。用户仅需运维本地服务器,本地搭建/运维 Kubernetes 集群由注册节点服务统一运维管控,帮助用户解决分布式基础设施...
配置日志外发
本文介绍如何配置日志外发。 操作步骤登录飞连管理后台。 在左侧导航栏,选择系统设置 > 日志审计。 在日志审计页面右上角,单击日志外发配置。 在日志外发配置界面,完成以下配置,并单击确定。配置项说明: 配置项 说明 外发协议类型 可选 syslog 或者 elasticsearch。 外发日志类型 在需要外发的日志类型前,选中复选框,然后配置外发信息。 如果外发协议选择 syslog,则需要配置地址,该地址是指向 syslog 程序所在服务器的 T...
通过日志服务采集 VCI 容器日志
已在日志服务中创建了 日志项目 和 日志主题。详细操作,请参见 日志项目 和 日志主题。 在日志项目中创建采集配置,关联上述创建的机器组,并配置采集规则。详细操作,请参见 采集容器日志。 弹性容器实例开启日志采集弹性容器实例支持如下两种日志采集方式: 通过 Kubernetes 方式增加 Pod Annotation 开启日志采集能力。对于存量弹性容器实例,新增 Pod Annotation 之后需要重新部署。 通过控制台按钮,在创建工作负载时开启采集日志...
通过访问日志定位异常后端服务器
本文将介绍如何通过七层监听器的访问日志功能定位异常的后端服务器。 使用场景通过为七层监听器配置访问日志功能,可查看访问该七层监听器的详细日志。通过分析日志文件中的响应状态码,可快速定位异常的后端服务器。 前提条件已完成七层负载均衡clb-test的配置,详细操作可参见配置七层负载均衡。 已开启对象存储服务(存储桶名称为bucket-test),详细操作可参见开始使用对象存储。 已完成负载均衡服务关联角色ServiceRoleForClbLogD...
云原生环境下的日志采集、存储、分析实践
6. LogCollector 将采集到的日志发送给 TLS Server。#### 适合大规模、多租户场景的客户端开源日志采集客户端一般只支持一个 Output,多个 Input 采用相同的 Pipeline,相互影响。为了适应大规模、多租户场景,火山引擎自研了日志采集的客户端 LogCollector。LogCollector 对不同的 Input...
