> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日...
作者:刘卯银|火山引擎日志系统架构师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,...
主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者:刘卯银|火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,就需要一套统一的日志系统,对日志进行采集、...
> 近期火山引擎正式发布 UIMeta,一款致力于监控、分析和优化的新型云原生 Spark History Server,相比于传统的事件日志文件,**它在缩小了近乎 10 倍体积的基础上,居然还实现了提速 10 倍!**> > 目前,UIMeta Servi... 事件日志包含太多冗余信息,长时间运行的应用程序可能会带来巨大的事件日志,这可能需要大量维护并且需要很长时间才能重构 UI 数据从而提供服务。在大规模生产中,作业的数量可能很大,会给历史服务器带来沉重的负担。...
TOS 支持日志分析功能,支持通过日志服务,检索分析您访问 TOS 过程中产生的访问日志。通过 TOS C++ SDK 您可以设置日志分析功能的相关配置。 设置实时日志配置规则注意 使用日志分析功能需要您已开通日志服务功能,并... // 设置为 true 以使用服务端提供的日志 topic accessLogConfiguration.setUseServiceTopic(true); // 或设置为 false 同时设置日志的 projectID 和 Topic ID // accessLogConfiguration.setUseServi...
缓存数据库 Redis 版支持日志管理功能,您可以在控制台上查看或导出指定时间内的慢日志详情(如慢查询语句、执行时长等)。本文介绍如何查询慢日志。 功能介绍缓存数据库 Redis 版会将执行时长超过指定阈值的请求记录在慢日志中,您可以在 Redis 控制台上中查看数据节点(即 Server 节点)和代理节点(即 Proxy 节点)的慢日志详情。其中: 数据节点慢日志 数据节点慢日志中展示的执行时长仅包含命令在数据节点中的执行时间。数据节点与代...
设置为 true 以使用服务端提供的日志 topic configuration=AccessLogConfiguration(use_service_topic=True) ) client.put_bucket_real_time_log(bucket_name, config)except tos.exceptions.TosClientError as e: 操作失败,捕获客户端异常,一般情况为非法请求参数或网络异常 print('fail with client error, message:{}, cause: {}'.format(e.message, e.cause))except tos.exceptions.TosServerE...
本文介绍如何配置日志外发。 操作步骤登录飞连管理后台。 在左侧导航栏,选择系统设置 > 日志审计。 在日志审计页面右上角,单击日志外发配置。 在日志外发配置界面,完成以下配置,并单击确定。配置项说明: 配置项 说明 外发协议类型 可选 syslog 或者 elasticsearch。 外发日志类型 在需要外发的日志类型前,选中复选框,然后配置外发信息。 如果外发协议选择 syslog,则需要配置地址,该地址是指向 syslog 程序所在服务器的 T...
前提条件您已购买云服务器。 您已开通日志服务。 您已开通云监控。 操作步骤步骤一:创建日志项目投递到日志服务的事件信息将作为日志,并按日志项目进行租户资源隔离和控制,您可以按需创建日志项目。通常一个日志项目对应一个应用、业务或产品。 说明 为了降低网络延迟,请尽可能选择与业务邻近的服务地域创建日志项目。 登录日志服务控制台。 在左侧导航栏选择“日志项目管理”,进入日志项目列表页。 在顶部导航栏选择与业务邻...
日志配置规则。 java import com.volcengine.tos.TOSV2;import com.volcengine.tos.TOSV2ClientBuilder;import com.volcengine.tos.TosClientException;import com.volcengine.tos.TosServerException;import com.... catch (TosServerException e) { // 操作失败,捕获服务端异常,可以获取到从服务端返回的详细错误信息 System.out.println("putBucketRealTimeLog failed"); System.out.println...
功能概述为了方便您对您的业务资源被访问情况进行详细分析、及时定位问题,全站加速对全网访问日志进行了小时粒度打包,默认存储 30 天,并为您提供下载服务。 日志管理登录火山引擎全站加速控制台后,在控制台页面左侧点击 日志管理 。 在 日志管理 页面,进行访问日志管理。 说明 通常情况下您可以在24小时之内查询到之前的日志文件。 系统允许您查询距当日30天内的日志数据。在这30天内,您可以任意选择查询时间范围。 系统下载的日...
点播支持查询和下载域名访问情况的详细信息,为您提供以小时为维度的 CDN 日志,您可下载近 30 天内的 CDN 日志。本文主要介绍日志管理说明、日志字段说明以及日志管理查询和下载的操作步骤。 日志管理说明支持查询和... CDN 服务端耗时 4 HTTP Method HTTP 请求方式,如 GET、POST 5 HTTP Scheme 请求 scheme,http 或 https 6 请求域名 加速域名 7 请求 URI 用户请求路径,以 "/" 开头 8 HTTP 协议标识 HTTP 请求协议信息,如 HTTP/1.1 ...
说明 仅在后端服务器健康检查状态变化(即从正常变为异常、从异常变为正常)时,才会生成健康检查日志。 基本概念名词 说明 日志服务 火山引擎提供的针对日志类数据的一站式服务,提供日志采集、海量存储、检索分析、监控告警、数据可视化等功能。通过日志服务可查看负载均衡的健康检查日志。 日志项目 日志服务中基础的资源管理单位,用于多用户或多项目、产品之间的日志资源隔离与访问控制。 日志主题 日志服务进行日志管理(例如日...