服务器日志黑匣子
社区干货
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
称为**重做日志** ,当 MySQL 服务器意外崩溃或者宕机后,**保证已经提交的事务**持久化到磁盘中(**持久性**)。它能保证对于已经 COMMIT 的事务产生的数据变更,即使是系统宕机崩溃也可以通过它来进行数据重做,达到数据的持久性,一旦事务成功提交后,不会因为异常、宕机而造成数据错误或丢失。### 2.2 redo log 数据格式redo log 包括两部分:- 内存中的**日志缓冲**(redo log buffer)- 内存层面,默认 16M,通过 innodb_l...
干货 | 提速 10 倍!源自字节跳动的新型云原生 Spark History Server正式发布
事件日志包含太多冗余信息,长时间运行的应用程序可能会带来巨大的事件日志,这可能需要大量维护并且需要很长时间才能重构 UI 数据从而提供服务。在大规模生产中,作业的数量可能很大,会给历史服务器带来沉重的负担。接下来,火山引擎 LAS 团队将向大家详细介绍字节跳动内部是怎么基于 UIMeta 实现海量数据业务的平稳和高效运转,让技术驱动业务不断发展。# **1. 业务背景**## 1.1 开源 Spark History Server 架构为了能够更好理...
云搜索服务收集syslog日志
# 前言在本教程中,您将学习如何创建云搜索服务,并收集syslog日志。# 关于实验预计部署时间:40分钟级别:初级相关产品:云搜索服务云服务器受众: 通用# 环境说明1. 如果还没有火山引擎账号,点击此[链接](https://console.volcengine.com/auth/signup/?redirectURI=%2Fecs%2Finstance)注册账号 2. 如果您还没有VPC,请先点击[链接](https://console.volcengine.com/vpc/region:vpc+cn-beijing/vpc)创建VPC 3....
业务进阶,用架构思维看云原生 | 社区征文
大家把业务跑在服务器上面。但物理机就那么几个规格,有些业务可能只用到一半的资源,那能不能把空载的另一半也利用起来呢?虚拟化就让我们可以在一台物理机上跑很多虚机,虚机有不同的操作系统,它们之间互相隔离且彼... 又要进行日志管理,开始做相应的微服务架构……这并没有错,但不是最优解。### 一个思想是:用架构思维为云原生做减法!换言之,用户只需要面对一个产品,就能享受整个云原生团队的服务。这「一个」产品,是不是也可...
特惠活动
服务器日志黑匣子-优选内容
服务器日志黑匣子-相关内容
通过日志服务采集注册节点的日志
本文为您介绍如何将注册节点日志采集到日志服务。 说明 【邀测·申请试用】:云原生观测功能和注册节点日志采集组件目前处于邀测阶段,如需使用,请提交申请。 背景信息分布式云原生平台提供的注册节点服务是火山引擎打造的标准、成熟、稳定的全新升级节点形态,主要用于解决大量闲散计算资源无法高效利用和运维的痛点。用户仅需运维本地服务器,本地搭建/运维 Kubernetes 集群由注册节点服务统一运维管控,帮助用户解决分布式基础设施...
使用 Kafka 协议上传日志
日志服务支持通过 Kafka 协议上传日志数据到服务端,即可以使用 Kafka Producer SDK 来采集日志数据,并通过 Kafka 协议上传到日志服务。本文介绍通过 Kafka 协议将日志上传到日志服务的操作步骤。 背景信息Kafka 作为高吞吐量的消息中间件,在多种自建场景的日志采集方案中被用于消息管道。例如在日志源服务器中的开源采集工具采集日志,或通过 Producer 直接写入日志数据,再通过消费管道供下游应用进行消费。日志服务支持通过 Kafk...
日志与监控FAQ
公网负载均衡监控指标“出入带宽”的监控数据为什么超出了公网带宽上限? 为什么负载均衡的TCP活跃连接数与后端服务器上的连接数不一致? 如何通过监控数据快速判断负载均衡的响应时间? 配置访问日志功能后为什么没有日志信息? 为什么子用户无法查看监控数据? 负载均衡的丢失类监控指标(包括丢失连接数、丢失出入包数和丢失出入带宽)对业务有什么影响? CLB实例退订后是否支持查看历史监控数据? CLB的监控指标QPS为什么没有数据? 公...
获取访问日志
操作场景您可以通过访问日志功能获取七层负载均衡(HTTP和HTTPS监听器)详细的访问日志记录,包括客户端IP地址、服务器响应等,便于您分析客户端用户行为、了解客户端用户的地域分布、进行问题排查等。 说明 华东1(南通)地域不支持访问日志功能。 客户端向四层TCP监听器发起的HTTP请求不属于七层负载均衡请求,不适用于本功能,平台不会获取其访问日志。 前提条件请确保您已开通对象存储服务(Tinder Object Storage,TOS)和日志服务(Ti...
配置日志外发
本文介绍如何配置日志外发。 操作步骤登录飞连管理后台。 在左侧导航栏,选择系统设置 > 日志审计。 在日志审计页面右上角,单击日志外发配置。 在日志外发配置界面,完成以下配置,并单击确定。配置项说明: 配置项 说明 外发协议类型 可选 syslog 或者 elasticsearch。 外发日志类型 在需要外发的日志类型前,选中复选框,然后配置外发信息。 如果外发协议选择 syslog,则需要配置地址,该地址是指向 syslog 程序所在服务器的 T...
使用 LogCollector 插件处理日志
对采集到的日志数据指定字段进行采集后处理,例如某个字段的正则模式解析等。在这种场景下创建采集配置时,可以通过各种采集模式对原始日志的外层结构进行初次拆分和解析,再通过 LogCollector 插件指定字段进行再次拆分和解析。支持添加一个或多个插件,LogCollector 将按照填写插件配置的顺序依次执行。 前提条件已创建日志项目和日志主题。详细操作步骤请参考创建日志项目和创建日志主题。 已创建机器组,并确认机器组的服务器心跳...
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
称为**重做日志** ,当 MySQL 服务器意外崩溃或者宕机后,**保证已经提交的事务**持久化到磁盘中(**持久性**)。它能保证对于已经 COMMIT 的事务产生的数据变更,即使是系统宕机崩溃也可以通过它来进行数据重做,达到数据的持久性,一旦事务成功提交后,不会因为异常、宕机而造成数据错误或丢失。### 2.2 redo log 数据格式redo log 包括两部分:- 内存中的**日志缓冲**(redo log buffer)- 内存层面,默认 16M,通过 innodb_l...
投递事件监控信息至日志服务
本文主要介绍如何将火山引擎账号下实例触发的事件信息投递至日志服务中,方便您使用日志服务进行分析。 什么是日志服务日志服务(TLS)是火山引擎提供的针对日志类数据的一站式服务,提供日志采集、海量存储、检索分析、监控告警、数据可视化等功能,适用于应用运维、服务监控、等保合规等场景,全方位提升研发与运维效率。 操作场景当您的火山引擎账号下拥有多台云服务器实例时,将实例运行时触发的事件(例如:系统故障导致实例重新部署...
访问日志投递TLS
ALB 支持将访问日志投递 TLS 功能。相比于投递 TOS,访问日志投递 TLS 实时性更高,无需您解压日志包,可直接查看分析日志条目。本文介绍如何在 ALB 控制台开启访问日志投递TLS 功能,查看或分析 ALB 实例的访问日志。... 代理服务器1-IP, 代理服务器2-IP, ... [192.168.11.1] request_length 表示请求本身的字节数。 [19] ssl_protocol 表示请求使用的 SSL 协议的版本。如果是 HTTP 请求,则不包含该字段。 [TLSv1.2] ssl_cip...
