日志服务器索引
社区干货
如何使用云搜索服务中的索引状态管理
# 前言对于存储在云搜索中的日志类型,指标类型的数据有一个共同的特点:索引中的数据随着时间的流逝,索引大小不断增长,相反的,数据的价值逐渐降低,我们希望可以实现一种自动化的管理操作,定期关闭或删除索引,以此来减少空间占用,降低成本。从 ElasticSearch 6.6开始,Elasticsearch 提供索引生命周期管理功能,索引生命周期管理可以通过 API 或者 kibana 界面配置,从而实现自动的索引状态管理。# 如何使用### 1. 创建 ISM 策略...
硬核干货!一文掌握 binlog 、redo log、undo log|社区征文
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... 称为**重做日志** ,当 MySQL 服务器意外崩溃或者宕机后,**保证已经提交的事务**持久化到磁盘中(**持久性**)。它能保证对于已经 COMMIT 的事务产生的数据变更,即使是系统宕机崩溃也可以通过它来进行数据重做,达到...
云原生环境下的日志采集、存储、分析实践
> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系... 采集到的日志首先会存入高速缓冲集群,削峰填谷,随后日志会匀速流入存储集群,根据用户配置再流转到数据加工集群进行日志加工,或者到索引集群建立索引。 建立索引后用户可以进行实时查询和分析。TLS 提供标准的 Lu...
云原生环境下的日志采集、存储、分析实践
主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者:刘卯银|火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日... 采集到的日志首先会存入 **高速缓冲集群** ,削峰填谷,随后日志会匀速流入 **存储集群** ,根据用户配置再流转到 **数据加工集群** 进行日志加工,或者到 **索引集群** 建立索引。建立索引后用户可以进行实时查询...
特惠活动
日志服务器索引-优选内容
日志服务器索引-相关内容
CreateIndex
调用 CreateIndex 接口创建索引。 使用说明本接口用于创建日志主题的索引。调用频率限制为 20 次/s,超出频率限制会报错 ExceedQPSLimit。 说明 全文索引与键值索引至少要开启一项,索引关闭时采集的日志数据将无法被... 键值索引配置的键值个数为 0。 404 TopicNotExist Topic does not exist. 日志主题不存在。 409 IndexAlreadyExist Index already exist Index 已存在。 500 InternalServerError We encountered an unexpected s...
索引数据类型
为日志字段设置键值索引时,您需要为每个开启键值索引的字段设置数据类型(text、long、double 或 json)。字段的索引数据类型决定了您可以使用何种方式检索该字段,同时影响检索的精度和准确性。本文介绍各个数据类型的配置说明及注意事项。 数据类型常见场景下,日志的字段值通常为文本类型或数值类型,您可以设置字段的索引数据类型为 text(字符串)、long(整型)或 double(浮点型),以满足日志检索需求。对于 JSON 等相对复杂的结构化...
【产品变更】弹性容器日志键值索引字段变更说明
2023 年 3 月 28 日 14:00 开始升级 容器日志键值索引字段变更详情说明 VCI Pod 的容器日志键值索引字段,会按如下说明变更。VKE Pod 的容器日志键值索引字段详情,请参见 VKE【产品变更】。 容器日志键值索引字段 有无变化 字段说明 旧版本 新版本 __path__ __path__ 无 日志文件路径。 cluster_id cluster_id 无 Pod(容器组)所属集群 ID。 __source__ __source__ 无 日志源服务器的 IP 地址。 host_ip host_ip 无 Pod 所属主...
【产品变更】容器日志键值索引字段变更说明
日志相关功能。 log-collector 组件升级记录,请参见 log-collector。 容器日志键值索引字段变更详情说明 VKE Pod 的容器日志键值索引字段,会按如下说明变更。VCI Pod 的容器日志键值索引字段详情,请参见 VCI【产品变更】。 容器日志键值索引字段 有无变化 字段说明 旧版本(v1.2.0 之前版本) 新版本(v1.2.0 以及后续版本) cluster_id cluster_id 无 Pod 所属集群 ID。 __source__ __source__ 无 日志源服务器的 IP 地址。 host_...
ModifyIndex
调用 ModifyIndex 接口修改索引配置。 使用说明本接口用于修改日志主题的索引配置信息。调用频率限制为 20 次/s,超出频率限制会报错 ExceedQPSLimit。 说明 全文索引与键值索引至少要开启一项,索引关闭时采集的日志... 键值索引配置的键值个数为 0。 404 TopicNotExist Topic does not exist. 日志主题不存在。 409 IndexAlreadyExist Index already exist 索引已存在。 500 InternalServerError We encountered an unexpected ser...
检索日志
成功采集到日志数据并正确配置索引之后,您可以在日志服务控制台中实时查看采集到的日志数据,并通过检索条件查询指定时间范围的日志数据。本文介绍检索日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 检索日志之前,必须先开启索引。开启索引的操作步骤,请参考配置索...
检索日志
成功采集到日志数据并正确配置索引之后,您可以在日志服务控制台中实时查看采集到的日志数据,并通过检索条件查询指定时间范围的日志数据。本文介绍检索日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 检索日志之前,必须先开启索引。开启索引的操作步骤,请参考配置索...
配置索引
本文档介绍了如何在火山引擎内容分发网络中配置一个日志主题的索引。 索引配置决定了一个日志主题包含的字段以及日志内容的处理方式。在内容分发网络中,您可以按需对一个日志主题的索引进行配置,实现定制化的日志管理。操作步骤如下: 在日志主题列表中,找到您需要检索的日志主题。 在 操作 列上,点击 检索。 在日志检索页面,点击 索引配置。 参考配置说明对索引进行配置。 配置完成后,点击 确定。 配置说明配置 说明 字段名...
分析日志
成功采集到日志数据并正确配置索引、为字段开启统计功能之后,您可以在日志服务控制台中通过检索分析语句进行日志的实时检索与分析。本文介绍分析日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询和分析。 开启统计功能之后采集到的日志数据才能参与统计分析。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 已正确...
