You need to enable JavaScript to run this app.
导航

日志主题

最近更新时间2024.03.28 10:17:44

首次发布时间2021.10.11 18:04:05

日志主题是日志服务进行日志管理的基本单位,例如日志采集、存储、和查询分析等等。每个日志项目中可以创建多个日志主题,每个日志主题用于承载同一应用中不同类型或不同分类的日志。日志接入、日志查询和分析、日志消费都是基于日志主题的粒度进行操作。
本文档为您介绍日志主题的常见管理操作,即日志主题的创建、修改和删除等。

前提条件

已在日志服务控制台中创建日志项目,详细步骤请参考日志项目

注意事项

  • 一个日志项目中最多创建 50 个日志主题,如需提高配额,请在配额中心申请提高参数 total_topics_per_project 的配额。
  • 为避免数据因超出分区的读写能力导致写入失败,建议开启分区的自动分裂功能。

创建日志主题

  1. 登录日志服务控制台

  2. 在左侧导航栏中选择日志服务 > 日志项目管理

  3. 找到指定的日志项目,单击项目名称。

  4. 日志主题区域,单击创建日志主题

  5. 填写日志主题的配置。

    1. 填写基础配置。

      参数

      说明

      主题名称

      日志主题的名称。

      日志存储时长

      日志在日志服务中的保存时间,单位为天,默认为 30 天。取值范围为 1~3650,指定为 3650 天表示永久存储。

      注意

      超过指定日志存储时长的日志会被自动清除。

      开启低频存储

      是否开启低频存储。开启后,标准存储的数据在标准存储保存一段时间之后自动转化为低频存储类型。低频存储类型的成本更低,适用于数据使用频率较低的业务场景。
      开启低频存储后,需要设置数据在标准存储的保留时长,该时长应不短于 7 天,默认为 30 天。超过该时长后,数据会自动沉降至低频存储进行后续保存,直到日志采集到服务端的总时长达到日志存储时长时,被后端服务自动清理。

      说明

      低频存储为邀测功能,若有相关业务需求,可联系客户经理开通白名单。

      日志分区数量

      日志分区(分区)的数量,默认创建 1 个分区,取值范围为1~10。 每个分区提供的写入能力为 5MiB/s、500次/s,读取能力为 5MiB/s、100次/s。
      创建后暂不支持修改分区数量,但支持通过自动分裂功能提高日志主题的整体读写能力。

      自动分裂日志分区

      是否开启分区的自动分裂功能。

      • (默认)开启:当写入的数据量连续 5 分钟超过已有分区服务能力时,日志服务会根据数据量自动分裂分区以满足业务需求,但分裂后的分区数量不可超出最大分裂数。最近 15 分钟内分裂出来的新分区不会自动分裂。
      • 关闭:不开启分区的自动分裂。

      最大分裂数

      分区的最大分裂数,即分区分裂后,所有读写状态分区的最大数量。取值范围为 1~50,默认为 50。

      说明

      • 仅在开启自动分裂日志分区时需要设置最大分裂数。
      • 最大分裂数必须大于指定的日志分区数量,否则日志服务无法自动分裂分区。

      描述

      日志主题的简单描述。

      标签

      单击添加标签,输入标签键和标签值,为日志主题添加标签。
      标签用于云资源的标识与分类,您可以将云资源通过标签进行归类,便于资源的搜索和聚合。详细说明请参考标签概述

      记录外网IP

      是否开启记录外网 IP 功能。默认为开启状态。开启后日志服务会自动在日志内容中添加以下元数据字段:

      • __tag____client_ip__:日志来源设备的公网 IP 地址。
      • __tag____receive_time__:日志达到服务端的时间,格式为 10 位的 Unixtime 时间戳。

      说明

      通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。

    2. (可选)填写高级配置。

      参数

      说明

      WebTracking

      是否开启 WebTracking 功能,开启后,可以通过 WebTracking 快速采集前端埋点数据。

      说明

      为日志主题开启 Web Tracking 后,通过 API 接口 WebTracks 写入数据时无需经过鉴权,相当于面向公网开放了匿名写入权限,可能产生脏数据。详细说明请参考使用 Web Tracking 采集日志

      自定义时间戳

      是否将指定字段作为日志时间。开启后,需要设置时间键名称时间转换格式。如果写入的日志中包含该字段,则以该字段为时间戳,并根据指定的格式进行解析。

      • 时间键名称:作为日志时间的字段名称。
      • 时间转换格式:时间字段的解析格式,详细说明请参考时间格式
  6. 单击确定

修改日志主题配置

您可以通过编辑日志主题的方式,修改主题名称、日志存储时长等配置,也可以在日志主题列表中直接修改日志主题名称和描述等基础配置。

说明

  • 暂不支持修改日志分区数量。
  • 开启自动分裂功能时,最大分裂数不可低于当前日志分区数量。
  1. 在左侧导航栏中选择日志服务 > 日志项目管理

  2. 找到指定的日志项目,单击项目名称。

  3. 日志主题区域,找到指定日志主题,在其操作列单击编辑

  4. 重新设置日志主题的相关配置。

    1. 修改基础配置。

      参数

      说明

      主题名称

      日志主题的名称。

      日志存储时长

      日志在日志服务中的保存时间,超过指定的日志存储时长后,此日志主题中的过期日志会被自动清除。
      单位为天,默认为 30 天。取值范围为 1~3650,指定为 3650 天表示永久存储。

      日志分区数量

      日志分区的数量。
      创建后暂不支持修改分区数量,但支持通过自动分裂功能提高日志主题的整体读写能力。

      自动分裂日志分区

      是否开启分区的自动分裂功能。

      • 开启:当写入的数据量连续 5 分钟超过已有分区服务能力时,日志服务会根据数据量自动分裂分区以满足业务需求,但分裂后的分区数量不可超出最大分裂数。最近15分钟内分裂出来的新分区不会自动分裂。
      • 关闭:不开启分区的自动分裂。

      最大分裂数

      分区的最大分裂数,即分区分裂后,所有读写状态分区的最大数量。取值范围为 1~50,默认为 50。

      说明

      • 仅在开启自动分裂日志分区时需要设置最大分裂数。
      • 最大分裂数必须大于指定的日志分区数量,否则日志服务无法自动分裂分区。

      描述

      日志主题的简单描述。

      标签

      单击添加标签 ,输入标签键和标签值,为日志主题添加标签。
      标签用于云资源的标识与分类,您可以将云资源通过标签进行归类,便于资源的搜索和聚合。详细说明请参考标签管理

      记录外网IP

      是否开启记录外网 IP 功能。开启后日志服务会自动在日志内容中添加以下元数据字段:

      • __tag____client_ip__:日志来源设备的公网 IP 地址。
      • __tag____receive_time__:日志达到服务端的时间,格式为 11 位的 Unixtime 时间戳。

      说明

      通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。

    2. 修改高级配置。

      参数

      说明

      WebTracking

      是否开启 WebTracking 功能,开启后,可以通过 WebTracking 快速采集前端埋点数据。

      说明

      为日志主题开启 Web Tracking 后,通过 API 接口 WebTracks 写入数据时无需经过鉴权,相当于面向公网开放了匿名写入权限,可能产生脏数据。详细说明请参考使用 Web Tracking 采集日志

      自定义时间戳

      是否将指定字段作为日志时间。开启后,需要设置时间键名称时间转换格式。如果写入的日志中包含该字段,则以该字段为时间戳,并根据指定的格式进行解析。

      • 时间键名称:作为日志时间的字段名称。
      • 时间转换格式:时间字段的解析格式,详细说明请参考时间格式
  5. 单击确定

修改日志存储时间

  1. 在左侧导航栏中选择日志服务 > 日志项目管理
  2. 找到指定的日志项目,单击项目名称。
  3. 日志主题区域,找到指定日志主题。
    区域右上角可以根据日志主题名称和日志主题ID快速查找指定主题。
  4. 在日志存储时长一列,单击修改图标,并重新设置日志存储时长。
    您还可以在日志主题列表中直接修改日志主题名称和描述等。日志服务自动为每个日志主题指定 ID,此 ID 不可修改。

导入日志主题

日志服务支持跨地域、跨日志项目批量导入指定的日志主题及其索引配置。

  1. 在左侧导航栏中选择日志服务 > 日志项目管理

  2. 找到指定的日志项目,单击项目名称。

  3. 日志主题区域,单击导入日志主题

  4. 日志主题导入任务面板中,完成如下配置,然后单击下一步:执行任务

    参数

    说明

    源region

    选择待导入的日志主题所在地域。

    源日志项目

    选择待导入的日志主题所在的日志项目。

    源日志主题

    选择待导入的日志主题,一次最多支持导入 100 个日志主题。
    选中同时导入索引后,将同时导入源日志主题的索引。

  5. 确认日志主题导入任务完成。
    确认导入完成后,您可以单击完成,也可以单击继续导入采集配置。导入采集配置的操作请参考导入采集配置

删除日志主题

注意

  • 删除日志主题之前,请确认已删除所有相关的 LogCollector 采集配置。删除采集配置的具体操作请参考删除采集配置
  • 部分专属的日志主题(例如服务日志相关的日志主题),不支持删除。
  • 删除日志主题后,其中的所有日志数据及配置信息都会被永久删除,不可恢复,请谨慎操作。
  1. 在左侧导航栏中选择日志服务 > 日志项目管理
  2. 找到指定的日志项目,单击项目名称。
  3. 日志主题区域,找到指定日志主题。
  4. 在对应的操作列单击删除
  5. 在弹出对话框中确认待删除的日志主题信息,并单击删除