You need to enable JavaScript to run this app.
日志服务

日志服务

复制全文
定时 SQL 分析
创建定时 SQL 分析数据存储至日志主题
复制全文
创建定时 SQL 分析数据存储至日志主题

日志服务支持通过控制台创建定时 SQL 分析任务,定时对源端日志主题进行检索分析,并将处理后的日志数据保存到目标日志主题中,或转为时序数据格式指标保存至 Prometheus 工作区中。
本文档介绍创建定时 SQL 分析任务,并将数据保存到目标日志主题中的操作步骤。

前提条件

  • 已成功采集日志数据到源端日志主题。详细操作步骤请参考概述
  • 已创建目标日志主题,用于存放处理后的日志数据。详细操作步骤请参考日志主题
  • 源端日志主题和目标日志主题均已配置索引。详细操作步骤请参考配置索引
  • 首次使用定时 SQL 功能之前,需要完成云资源访问授权,即授予定时 SQL 分析任务访问并写入数据到指定日志主题的权限。完成授权并成功启动定时 SQL 分析任务后,定时 SQL 分析任务会使用角色 ServiceRoleForTLS 将计算结果写入指定日志主题。

    说明

    在日志服务控制台首次创建定时 SQL 分析任务时系统会引导您进行授权操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权

操作步骤

  1. 登录日志服务控制台
  2. 在顶部导航栏中,选择日志服务所在的地域。
  3. 在左侧导航栏中,选择数据处理 > 定时SQL分析
  4. 定时SQL分析任务列表页面,单击创建定时SQL分析任务
  5. 在创建定时SQL任务页面,完成如下配置。
    1. 填写任务的基本配置,单击下一步:SQL分析规则配置。

      配置

      说明

      任务名称

      定时 SQL 分析任务的任务名称。

      描述

      定时 SQL 分析任务任务的简单描述。

      源日志项目

      待进行定时 SQL 分析的原始日志所在的日志项目。

      源日志主题

      待进行定时 SQL 分析的原始日志所在的日志主题。

      目标日志主题

      执行定时 SQL 分析任务后,处理后的日志数据存储的目标 Region、日志项目与日志主题。

      • 目标类型:选择 TLS日志主题
      • 目标Region:选择日志数据存储的目标 Region。
      • 日志项目:选择日志数据存储的目标日志项目。
      • 日志主题:选择日志数据存储的目标日志主题,需确保该日志主题已设置索引。

      任务状态

      是否立即启动定时 SQL 分析任务。

      • 勾选(默认):完成任务配置后立即启动定时 SQL 分析任务。
      • 不勾选:完成配置后定时 SQL 分析任务为已暂停状态,需要择机手动启动任务。
    2. 填写 SQL 分析规则配置,然后单击提交

      配置

      说明

      开始时间

      定时 SQL 分析任务的调度开始时间,即第一个实例被调度的开始时间。
      启动后,日志服务会根据指定的规则配置按时创建实例、启动定时 SQL 分析。

      结束时间

      定时 SQL 分析任务的调度结束时间。
      结束后,日志服务不会再创建实例、执行定时 SQL 分析,但任务状态仍为运行中,直至手动暂停任务。

      调度周期

      定时 SQL 分析任务的调度周期,调度周期决定每个实例的调度时间。调度周期支持指定时间间隔或固定触发时间。
      建议调度周期的长度大于等于查询时间窗口的长度,否则可能出现调度不及时,查询结果不正确。例如调度周期为每隔 10 分钟执行一次,则 SQL 时间窗口长度最大为 10 分钟。
      可选择如下任一配置:

      • 分钟:每隔 1~1440 分钟执行一次。
      • :每天固定时间点执行一次。
      • Cron:通过 Cron 表达式指定任务的调度时间,最小粒度为分钟,最大支持 30 天,24 小时制。
        例如 0 18 * * *,表示每天 18 点整调度一次定时 SQL 分析任务。

      时区选择

      调度周期为 Cron 时需选择时区。常见的时区列表请参见选择时区

      SQL时间窗口

      定时 SQL 分析任务运行时,日志检索分析的时间范围,左闭右开格式。
      SQL 时间窗口最大为 31 天,最小为 1 分钟。设置 SQL 时间窗口大于 24 小时,可能会因数据量过大导致执行实例运行失败或计算结果不准确。SQL 时间窗口的语法请参考SQL 时间窗口语法

      说明

      配置示例:

      • 开始时间:2023-8-14 10:00
      • 调度周期:每隔 60 分钟执行一次
      • SQL时间窗口:[@h-1h,@h)
      • 执行延迟:10 秒

      在 2023-8-14 10:00:00 创建第一个实例,10:00:10 开始执行实例,分析 [09:00:00~10:00:00) 期间的日志数据。
      在 2023-8-14 11:00:00 创建第二个实例,11:00:10 开始执行实例,分析 [10:00:00~11:00:00) 期间的日志数据。

      SQL

      定时 SQL 分析任务定期执行的查询分析语句,应符合日志服务的检索分析语法。详细语法说明请参考检索概述分析概述

      任务超时

      任务超过最大超时时间或最大重试次数时,定时 SQL 会设置状态为失败并结束,您可以接受告警并手动重试。

      • 最长时间范围:60~1800 秒。
      • 最大次数范围:1~20 次。

      执行延迟

      每次调度的延迟时间,支持设置为 0~120 秒。
      当日志数据量大、采集任务繁忙时,数据写入日志主题可能存在一定延迟,在该场景下可以指定执行延迟时间,保证检索分析时的数据完整性。

最近更新时间:2025.08.18 19:06:16
这个页面对您有帮助吗?
有用
有用
无用
无用