# 前言对于存储在云搜索中的日志类型,指标类型的数据有一个共同的特点:索引中的数据随着时间的流逝,索引大小不断增长,相反的,数据的价值逐渐降低,我们希望可以实现一种自动化的管理操作,定期关闭或删除索引,以此来减少空间占用,降低成本。从 ElasticSearch 6.6开始,Elasticsearch 提供索引生命周期管理功能,索引生命周期管理可以通过 API 或者 kibana 界面配置,从而实现自动的索引状态管理。# 如何使用### 1. 创建 ISM 策略...
建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,使用 CONCURRENTLY 创建新索引成功后,再删除老索引* 如果可以,使用 TRUNCATE 代替 DELETE,一方面可以提高性能,另一方面可以减少海量 DELETE 时 WAL 日志暴增带来的磁盘压力。* PostgreSQL 支持在事务中运行 DDL 语...
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... redo log### 2.1 redo log 设计目标redo log 是属于引擎层(innodb)的日志,称为**重做日志** ,当 MySQL 服务器意外崩溃或者宕机后,**保证已经提交的事务**持久化到磁盘中(**持久性**)。它能保证对于已经 COMM...
服务通过Kubernetes API-Server获取后端一组Service Pod真实IP,业务POD通过Calico网络进行POD与POD直接流量通讯。## 四 安全管控### 4.1 SmartOps安全全景![](https://kaliarch-bucket-1251990360.cos.ap-beijing.myqcloud.com/blog_img/20221214175418.png)- 全场景的安全架构规划:从网络边界、内部网络、各类基础设施、数据、业务应用到后期监控响应,运维管控,在各层面均进行安全管控设计,实现全方位立体式防护;- 云安...
启用数据面审计后,在 ES 实例的参数配置页面增加了AuditOpenDays和AuditKeepDays两个参数,用于控制数据面审计日志索引的打开天数和保存天数。 背景信息在 ES 实例的参数配置页面查看AuditOpenDays和AuditKeepDays两... 索引匹配模式为.security-auditlog-*,与索引模式匹配的索引都将适配该生命周期策略。 索引初始状态为 fresh。 7 天后进入 **trash **阶段,在该阶段将关闭索引。 30 天后进入 delete 阶段,在该阶段将删除索引。 JSO...
log-collector 组件升级记录,请参见 log-collector。 容器日志键值索引字段变更详情说明 VKE Pod 的容器日志键值索引字段,会按如下说明变更。VCI Pod 的容器日志键值索引字段详情,请参见 VCI【产品变更】。 容器日志键值索引字段 有无变化 字段说明 旧版本(v1.2.0 之前版本) 新版本(v1.2.0 以及后续版本) cluster_id cluster_id 无 Pod 所属集群 ID。 __source__ __source__ 无 日志源服务器的 IP 地址。 host_ip host_ip 无 ...
本文档介绍在火山引擎内容分发网络中,您可以对日志主题进行的操作。 在内容分发网络中,您可以对日志主题进行以下操作: 管理日志主题 检索日志主题 停用日志主题 删除日志主题 重置日志主题的索引 管理日志主题如果您需要调整日志主题所关联的加速域名,您可以使用管理操作。调整后,内容分发网络就开始将新关联的加速域名的请求日志投递给日志服务了。 如果关联的加速域名下线了或者被删除了,日志主题不会自动更新关联。此时,...
成功采集到日志数据并正确配置索引之后,您可以在日志服务控制台中实时查看采集到的日志数据,并通过检索条件查询指定时间范围的日志数据。本文介绍检索日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 检索日志之前,必须先开启索引。开启索引的操作步骤,请参考配置索...
成功采集到日志数据并正确配置索引之后,您可以在日志服务控制台中实时查看采集到的日志数据,并通过检索条件查询指定时间范围的日志数据。本文介绍检索日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 检索日志之前,必须先开启索引。开启索引的操作步骤,请参考配置索...
成功采集到日志数据并正确配置索引、为字段开启统计功能之后,您可以在日志服务控制台中通过检索分析语句进行日志的实时检索与分析。本文介绍分析日志的操作步骤。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询和分析。 开启统计功能之后采集到的日志数据才能参与统计分析。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 已正确...
来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所有对数据库的数据、表结构、索引等等变更的操作。> 注... redo log### 2.1 redo log 设计目标redo log 是属于引擎层(innodb)的日志,称为**重做日志** ,当 MySQL 服务器意外崩溃或者宕机后,**保证已经提交的事务**持久化到磁盘中(**持久性**)。它能保证对于已经 COMM...
请参考日志服务架构升级通知。 注意事项日志数据在日志服务中的存储时间由日志项目的日志保存时间决定,已经过期删除的日志无法进行查询和分析。 开启统计功能之后采集到的日志数据才能参与统计分析。 前提条件已创建日志项目和日志主题。 已通过 LogCollector 或其他方式采集到日志数据。 已正确配置索引,并为参与分析的字段开启了统计功能。详细操作请参考配置索引。 操作步骤登录日志服务控制台。 在左侧导航栏中选择日志服...
日志服务支持日志检索与分析功能,配置索引后才能进行日志查询和分析操作。配置索引时需要指定索引的类型和各个字段的数据类型,索引的配置决定了查询的方式和查询结果的精度。本文介绍配置索引的操作步骤及索引配置... 请参考日志服务架构升级通知。 前提条件已创建日志项目和日志主题。详细说明请参考日志项目和日志主题。 推荐先通过 LogCollector 或其他方式采集到日志数据,再配置索引。详细说明请参考采集日志数据。 注意事项...