火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括... 这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求,标准输出将所有日志混在一起,不利于用户进行分类。如果用户要把所有日志都转到标准输出上,还需要开发或者配置,难以推广。因此 Kubernetes 官方...
火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包... API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求...
# 问题描述如何使用 atop 监控 ECS Linux 实例上的历史资源使用情况# 问题分析atop 工具是一种性能监控工具,可记录历史资源使用情况以供以后分析。该工具还可以进行实时报告。您可以检索每个进程和线程的 CPU 利用率、内存消耗和磁盘 I/O 的使用情况。atop 工具在后台保持活动状态并记录统计信息,以便进行长期的服务器分析。# 解决方案**查看 atop 报告日志进行分析**atop 的日志文件位于 /var/log/atop 目录。日志文...
# 问题描述如何使用 atop 监控 ECS Linux 实例上的历史资源使用情况# 问题分析atop 工具是一种性能监控工具,可记录历史资源使用情况以供以后分析。该工具还可以进行实时报告。您可以检索每个进程和线程的 CPU 利用率、内存消耗和磁盘 I/O 的使用情况。atop 工具在后台保持活动状态并记录统计信息,以便进行长期的服务器分析。# 解决方案**查看 atop 报告日志进行分析**atop 的日志文件位于 /var/log/atop 目录。日志文件命令...
如果无需对日志内容进行结构化处理、无需提取日志字段进行精细化分析查询,建议使用单行全文模式。单行全文模式下,日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段。 预留字段 说明 __content__ 该字段封装了原始日志内容。该字段未预置索引,若需检索日志,需要手动开启全文索引。 __path__ 原始日志文件目录及文件名。日志服务已为该字段创建索引。 __source__ 原始日志所在服务器的 IP 地址。日志服务已...
如果无需对多行日志内容进行结构化处理、无需提取日志字段进行精细化分析查询,建议使用多行全文模式。日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段。 预留字段 说明 __content__ 该字段封装了原始日志内容。该字段未预置索引,若需检索日志,需要手动开启全文索引。 __path__ 原始日志文件目录及文件名。 __source__ 原始日志文件所在服务器的 IP 地址。 前提条件已创建日志项目和日志主题。详细操作...
解析时会根据 JSON 格式提取日志中 Object 首层的键(Key)作为字段名称,Object 首层的值(Value)作为字段值。每条完整的日志以换行符 \n 为结束标识符。在 JSON 模式下,日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段,并默认为其创建索引。 预留字段 说明 __path__ 原始日志文件目录及文件名。 __source__ 原始日志文件所在服务器的 IP 地址。 前提条件已创建日志项目和日志主题。详细操作步骤请参考创建...
容器文件路径:除了容器标准输出设备,大部分应用会将应用日志写入固定路径下的 log 文件中。您可以通过指定容器内的日志文件路径,获取指定容器的日志。例如:容器服务将 GPU Xid 相关信息输出到 Pod 的日志文件/var... 系统会采集 ingress 组件的标准输出日志,并发送至日志服务进行保存和检索。 控制面组件日志 控制面组件日志主要记录集群控制面主要组件的日志,方便您了解集群控制面的状态和记录。包括:kube-apiserver、kube-sched...
日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段,并默认为其创建索引。 预留字段 说明 __path__ 原始日志文件目录及文件名。 __source__ 原始日志文件所在服务器的 IP 地址。 前提条件已创建日志项目和日志主题。详细操作步骤请参考创建日志项目和创建日志主题。 已创建机器组,并确认机器组的服务器心跳状态正常。详细操作步骤请参考创建机器组(IP 地址)或创建机器组(机器标识)。 安装 LogCollector 的服...
本文以单行全文模式为例,介绍如何通过日志服务控制台采集火山引擎云服务器 ECS 日志。 前提条件一台符合环境要求的 Linux 服务器设备。支持的操作系统版本请参考安装环境。 已创建日志项目和日志主题。详细步骤请参... 填写采集路径。采集路径即日志所在的目录和文件名,LogCollector 会按照采集路径中的目录部分匹配符合规则的目录,监听这些目录下符合规则的日志文件。最多设置 10 个不同的采集路径。采集路径可以指定完整的目录和...
日志服务提供 TOS 数据导入运行日志等多种功能运行过程中的日志信息,本文档介绍各种日志类型对应的字段信息。 服务日志类型日志服务提供的服务日志类型如下: 日志类型 对应功能 存储位置(Topic) 说明 数据导入... TopicId 日志写入的目标 Topic。 FilePath 正在采集的日志文件的路径。 RealFilePath 正在采集的日志文件在物理机上的实际路径。 FileSize 正在采集的日志文件大小,单位为 Byte。 ReadOffset 读取文件的...
为七层负载均衡访问日志提供存储空间。 存储桶 七层CLB实例访问日志的存储容器。CLB实例的访问日志将存入指定的存储桶中。 对象/文件 七层CLB实例会定时上传一段时间内的日志文件到指定的存储桶中,每个文件以对象的... 基本信息日志文件基本信息如下表所示。 参数 说明 生成周期 5分钟。 文件大小 文件大小由访问量决定。 是否压缩 是,系统默认对日志文件进行压缩后上传。 保存路径 负载均衡实例会在存储桶根目录下自动创建路径:/C...
开启 Python SDK 日志记录功能以下代码展示了如何开启 Python SDK 日志记录功能。 python -*- coding: utf-8 -*-import loggingimport osimport tos 以下代码展示了 Python SDK 日志开启功能 完整的日志文件路径例如 /usr/local/TosClient.loglog_file_path = 'your fog file path' 通过 tos.set_logger 设置 TOS Python SDK 的日志级别、日志文件存储地址。 file_path为完整的日志文件路径 format_string为定义的日志格式 leve...