You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

日志主题

最近更新时间2023.09.21 19:31:17

首次发布时间2021.10.11 18:04:05

日志主题是日志服务进行日志管理的基本单位,例如日志采集、存储、和查询分析等等。每个日志项目中可以创建多个日志主题,每个日志主题用于承载同一应用中不同类型或不同分类的日志。日志接入、日志查询和分析、日志消费都是基于日志主题的粒度进行操作。

本文档为您介绍日志主题的常见管理操作,即日志主题的创建、修改和删除等。

前提条件

已在日志服务控制台中创建日志项目,详细步骤请参考日志项目

注意事项

  • 一个日志项目中最多创建 50 个日志主题,如需提高配额,请在配额中心申请提高参数 total_topics_per_project 的配额。
  • 为避免数据因超出分区的读写能力导致写入失败,建议开启分区的自动分裂功能。

创建日志主题

  1. 登录日志服务控制台
  2. 在左侧导航栏中选择日志服务 > 日志项目管理
  3. 找到指定的日志项目,单击项目名称。
  4. 日志主题区域,单击创建日志主题
  5. 填写日志主题的配置。
    1. 填写基础配置。

      参数说明

      主题名称

      日志主题的名称。需要满足以下要求。

      • 只支持小写英文字母、中文、和连字符(-)。
      • 必须以小写英文字母、中文、数字开头或结尾。
      • 长度为 3~63 个字符。

      日志存储时长

      日志在日志服务中的保存时间,超过指定的日志存储时长后,此日志主题中的过期日志会被自动清除。
      单位为天,默认为 30 天。取值范围为 1~3650,指定为 3650 天表示永久存储。

      日志分区数量

      日志分区(分区)的数量,默认创建 1 个分区,取值范围为1~10。 每个分区提供的写入能力为 5MiB/s、500次/s,读取能力为 5MiB/s、100次/s。
      创建后暂不支持修改分区数量,但支持通过自动分裂功能提高日志主题的整体读写能力。

      自动分裂日志分区

      是否开启分区的自动分裂功能。

      • (默认)开启:当写入的数据量连续 5 分钟超过已有分区服务能力时,日志服务会根据数据量自动分裂分区以满足业务需求,但分裂后的分区数量不可超出最大分裂数。最近 15 分钟内分裂出来的新分区不会自动分裂。
      • 关闭:不开启分区的自动分裂。

      最大分裂数

      分区的最大分裂数,即分区分裂后,所有分区的最大数量。取值范围为 1~10,默认为 10。

      说明

      • 仅在开启自动分裂日志分区时需要设置最大分裂数。
      • 最大分裂数必须大于指定的日志分区数量,否则日志服务无法自动分裂分区。
      描述日志主题的简单描述。

      标签

      单击添加标签,输入标签键和标签值,为日志主题添加标签。
      标签用于云资源的标识与分类,您可以将云资源通过标签进行归类,便于资源的搜索和聚合。详细说明请参考标签管理

      记录外网IP

      是否开启记录外网 IP 功能。默认为开启状态。开启后日志服务会自动在日志内容中添加以下元数据字段:

      • __tag____client_ip__:日志来源设备的公网 IP 地址。
      • __tag____receive_time__:日志达到服务端的时间,格式为 10 位的 Unixtime 时间戳。

      说明

      通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。

    2. (可选)填写高级配置。

      参数说明

      WebTracking

      是否开启 WebTracking 功能,开启后,可以通过 WebTracking 快速采集前端埋点数据。

      说明

      为日志主题开启 Web Tracking 后,通过 API 接口 WebTracks 写入数据时无需经过鉴权,相当于面向公网开放了匿名写入权限,可能产生脏数据。详细说明请参考通过WebTracking采集日志

      自定义时间戳

      是否将指定字段作为日志时间。开启后,需要设置时间键名称时间转换格式。如果写入的日志中包含该字段,则以该字段为时间戳,并根据指定的格式进行解析。

      • 时间键名称:作为日志时间的字段名称。
      • 时间转换格式:时间字段的解析格式,详细说明请参考时间格式
  6. 单击确定

修改日志主题配置

您可以通过编辑日志主题的方式,修改主题名称、日志存储时长等配置,也可以在日志主题列表中直接修改日志主题名称和描述等基础配置。

说明

  • 暂不支持修改日志分区数量。
  • 开启自动分裂功能时,最大分裂数不可低于当前日志分区数量。
  1. 在左侧导航栏中选择日志服务 > 日志项目管理
  2. 找到指定的日志项目,单击项目名称。
  3. 日志主题区域,找到指定日志主题,在其操作列单击编辑
  4. 重新设置日志主题的相关配置。
    1. 修改基础配置。

      参数说明

      主题名称

      日志主题的名称。需要满足以下要求。

      • 只支持小写英文字母、数字和连字符(-)。
      • 必须以小写英文字母或数字开头或结尾。
      • 长度为 3~63 个字符。

      日志存储时长

      日志在日志服务中的保存时间,超过指定的日志存储时长后,此日志主题中的过期日志会被自动清除。
      单位为天,默认为 30 天。取值范围为 1~3650,指定为 3650 天表示永久存储。

      日志分区数量

      日志分区的数量。
      创建后暂不支持修改分区数量,但支持通过自动分裂功能提高日志主题的整体读写能力。

      自动分裂日志分区

      是否开启分区的自动分裂功能。

      • 开启:当写入的数据量连续 5 分钟超过已有分区服务能力时,日志服务会根据数据量自动分裂分区以满足业务需求,但分裂后的分区数量不可超出最大分裂数。最近15分钟内分裂出来的新分区不会自动分裂。
      • 关闭:不开启分区的自动分裂。

      最大分裂数

      分区的最大分裂数,即分区分裂后,所有分区的最大数量。取值范围为 1~10,默认为 10。

      说明

      • 仅在开启自动分裂日志分区时需要设置最大分裂数。
      • 最大分裂数必须大于指定的日志分区数量,否则日志服务无法自动分裂分区。
      描述日志主题的简单描述。

      标签

      单击添加标签 ,输入标签键和标签值,为日志主题添加标签。
      标签用于云资源的标识与分类,您可以将云资源通过标签进行归类,便于资源的搜索和聚合。详细说明请参考标签管理

      记录外网IP

      是否开启记录外网 IP 功能。开启后日志服务会自动在日志内容中添加以下元数据字段:

      • __tag____client_ip__:日志来源设备的公网 IP 地址。
      • __tag____receive_time__:日志达到服务端的时间,格式为 11 位的 Unixtime 时间戳。

      说明

      通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。

    2. 修改高级配置。

      参数说明

      WebTracking

      是否开启 WebTracking 功能,开启后,可以通过 WebTracking 快速采集前端埋点数据。

      说明

      为日志主题开启 Web Tracking 后,通过 API 接口 WebTracks 写入数据时无需经过鉴权,相当于面向公网开放了匿名写入权限,可能产生脏数据。详细说明请参考通过WebTracking采集日志

      自定义时间戳

      是否将指定字段作为日志时间。开启后,需要设置时间键名称时间转换格式。如果写入的日志中包含该字段,则以该字段为时间戳,并根据指定的格式进行解析。

      • 时间键名称:作为日志时间的字段名称。
      • 时间转换格式:时间字段的解析格式,详细说明请参考时间格式
  5. 单击确定

修改日志存储时间

  1. 在左侧导航栏中选择日志服务 > 日志项目管理

  2. 找到指定的日志项目,单击项目名称。

  3. 日志主题区域,找到指定日志主题。

    区域右上角可以根据日志主题名称和日志主题ID快速查找指定主题。

  4. 在日志存储时长一列,单击修改图标,并重新设置日志存储时长。

    您还可以在日志主题列表中直接修改日志主题名称和描述等。日志服务自动为每个日志主题指定 ID,此 ID 不可修改。

删除日志主题

注意

  • 删除日志主题之前,请确认已删除所有相关的日志采集配置。
  • 删除日志主题后,其中的所有日志数据及配置信息都会被永久删除,不可恢复,请谨慎操作。
  1. 在左侧导航栏中选择日志服务 > 日志项目管理
  2. 找到指定的日志项目,单击项目名称。
  3. 日志主题区域,找到指定日志主题。
  4. 在对应的操作列单击删除
  5. 在弹出对话框中确认待删除的日志主题信息,并单击删除