搭建行为管理日志服务器-优选内容
云原生环境下的日志采集、存储、分析实践
日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,就需要一套统一的日志系统,对日志进行采集、加工、存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。## Kubernetes 下日志采集的开源自建方案### 开源自建火山引擎早期为了快速上线业务,各团队基于开源项目搭建了自己的日志系...
云原生环境下的日志采集、存储、分析实践
日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,就需要一套统一的日志系统,对日志进行采集、加工、存储、查询、分析、可视化、告警以及消费投递,将日志的生命周期进行闭环。## Kubernetes 下日志采集的开源自建方案### 开源自建火山引擎早期为了快速上线业务,各团队基于开源项目搭建了自己的日志系...
什么是日志服务
日志服务是火山引擎提供的针对日志类数据的一站式服务,提供日志采集、海量存储、检索分析、监控告警、数据可视化等功能,适用于应用运维、服务监控、等保合规等场景,全方位提升研发与运维效率。 产品功能 日志服务主... 秒级分析海量日志;并通过多种可视化的分析图表构建交互式数据大盘,实时展示业务关键指标的现状与趋势,掌握业务动态。 等保安全审计:支持采集火山引擎云服务器 ECS 等多款云产品日志,追溯操作行为、实时监控业务数据...
投递事件监控信息至日志服务
提供日志采集、海量存储、检索分析、监控告警、数据可视化等功能,适用于应用运维、服务监控、等保合规等场景,全方位提升研发与运维效率。 操作场景当您的火山引擎账号下拥有多台云服务器实例时,将实例运行时触发的... 日志项目对应一个应用、业务或产品。 说明 为了降低网络延迟,请尽可能选择与业务邻近的服务地域创建日志项目。 登录日志服务控制台。 在顶部导航栏选择与业务邻近的地域。 在左侧导航栏选择“日志项目管理”,进...
搭建行为管理日志服务器-相关内容
采集日志数据
本文以单行全文模式为例,介绍如何通过日志服务控制台采集火山引擎云服务器 ECS 日志。 前提条件 一台符合环境要求的 Linux 服务器设备。支持的操作系统版本请参考安装环境。 已创建日志项目和日志主题。详细步骤请... 在日志项目的详情页中查看连接域名。日志服务支持的地域及对应服务地址请参考服务入口。 secret_id 必选 AK******** 火山引擎主账号或子账号的 Access Key ID。在火山引擎控制台密钥管理页面,根据页面提示查看...
配置日志外发
本文介绍如何配置日志外发。 操作步骤登录飞连管理后台。 在左侧导航栏,选择系统设置 > 日志审计。 在日志审计页面右上角,单击日志外发配置。 在日志外发配置界面,完成以下配置,并单击确定。配置项说明: 配置项 说明 外发协议类型 可选 syslog 或者 elasticsearch。 外发日志类型 在需要外发的日志类型前,选中复选框,然后配置外发信息。 如果外发协议选择 syslog,则需要配置地址,该地址是指向 syslog 程序所在服务器的 T...
管理实时日志
设置为 true 以使用服务端提供的日志 topic configuration=AccessLogConfiguration(use_service_topic=True) ) client.put_bucket_real_time_log(bucket_name, config)except tos.exceptions.TosClientError as e: 操作失败,捕获客户端异常,一般情况为非法请求参数或网络异常 print('fail with client error, message:{}, cause: {}'.format(e.message, e.cause))except tos.exceptions.TosServerE...
CDN 日志采集概述
本文档介绍 CDN 实时日志相关的功能介绍、使用限制等。 功能概述 CDN 实时日志功能实时记录 CDN 加速域名的访问信息,包括加速域名、响应时长、请求方法、URL 路径、来源 IP 地址等信息。开启实时日志功能后,日志将存储在日志服务的指定日志主题中,您可以通过日志检索分析功能进行实时检索与 SQL 分析,了解热门加速站点的访问信息,也可以基于 SQL 分析语句搭建仪表盘、配置监控告警。 CDN 实时日志功能相关配置如下: 配置 说明 日...
TOS 日志采集概述
本文档介绍 TOS 日志分析相关的功能介绍、使用限制等。 功能概述 TOS 日志分析功能实时记录 TOS 中所有资源的访问信息,包括每次访问请求的账号、Bucket 名称、操作类型、来源 IP 地址等信息。开启访问日志功能后,日志将存储在日志服务的指定日志主题中,您可以通过日志检索分析功能进行实时检索与 SQL 分析,了解相关访问事件的变化趋势,也可以基于 SQL 分析语句搭建仪表盘、配置监控告警。 TOS 日志分析功能相关配置如下: 配置 说...
使用 Kafka 协议上传日志
本文介绍通过 Kafka 协议将日志上传到日志服务的操作步骤。 背景信息 Kafka 作为高吞吐量的消息中间件,在多种自建场景的日志采集方案中被用于消息管道。例如在日志源服务器中的开源采集工具采集日志,或通过 Produc... 日志服务会自动解析并结构化 JSON 格式日志数据。 input { stdin { } } output { stdout { codec => json } kafka { codec => json topic_id => "{topicID}" bootstrap_servers => "${hosts}" ...
管理实时日志
并已授权 TOS 访问火山引擎日志服务 TLS。 开启日志分析功能后,日志服务会自动创建日志项目及主题存放 TOS 的相关日志。 示例代码 以下代码展示如何设置桶的实时日志配置规则。 java import com.volcengine.tos.TOSV2;import com.volcengine.tos.TOSV2ClientBuilder;import com.volcengine.tos.TosClientException;import com.volcengine.tos.TosServerException;import com.volcengine.tos.model.bucket.AccessLogConfigurat...