日志服务支持通过控制台创建定时 SQL 分析任务,定时对源端日志主题进行检索分析,并将处理后的日志数据保存到目标日志主题中,或转为时序数据格式指标保存至 Prometheus 工作区中。
本文档介绍创建定时 SQL 分析任务,并将数据保存到目标日志主题中的操作步骤。
前提条件
- 已成功采集日志数据到源端日志主题。详细操作步骤请参考概述。
- 已创建目标日志主题,用于存放处理后的日志数据。详细操作步骤请参考日志主题。
- 源端日志主题和目标日志主题均已配置索引。详细操作步骤请参考配置索引。
- 首次使用定时 SQL 功能之前,需要完成云资源访问授权,即授予定时 SQL 分析任务访问并写入数据到指定日志主题的权限。完成授权并成功启动定时 SQL 分析任务后,定时 SQL 分析任务会使用角色 ServiceRoleForTLS 将计算结果写入指定日志主题。
说明
在日志服务控制台首次创建定时 SQL 分析任务时系统会引导您进行授权操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权。
操作步骤
- 登录日志服务控制台。
- 在顶部导航栏中,选择日志服务所在的地域。
- 在左侧导航栏中,选择数据处理 > 定时SQL分析。
- 在定时SQL分析任务列表页面,单击创建定时SQL分析任务。
- 在创建定时SQL任务页面,完成如下配置。
填写任务的基本配置,单击下一步:SQL分析规则配置。
配置 | 说明 |
|---|
任务名称 | 定时 SQL 分析任务的任务名称。 |
描述 | 定时 SQL 分析任务任务的简单描述。 |
源日志项目 | 待进行定时 SQL 分析的原始日志所在的日志项目。 |
源日志主题 | 待进行定时 SQL 分析的原始日志所在的日志主题。 |
目标日志主题 | 执行定时 SQL 分析任务后,处理后的日志数据存储的目标 Region、日志项目与日志主题。 - 目标类型:选择 TLS日志主题。
- 目标Region:选择日志数据存储的目标 Region。
- 日志项目:选择日志数据存储的目标日志项目。
- 日志主题:选择日志数据存储的目标日志主题,需确保该日志主题已设置索引。
|
任务状态 | 是否立即启动定时 SQL 分析任务。 - 勾选(默认):完成任务配置后立即启动定时 SQL 分析任务。
- 不勾选:完成配置后定时 SQL 分析任务为已暂停状态,需要择机手动启动任务。
|
填写 SQL 分析规则配置,然后单击提交。
配置 | 说明 |
|---|
开始时间 | 定时 SQL 分析任务的调度开始时间,即第一个实例被调度的开始时间。
启动后,日志服务会根据指定的规则配置按时创建实例、启动定时 SQL 分析。 |
结束时间 | 定时 SQL 分析任务的调度结束时间。
结束后,日志服务不会再创建实例、执行定时 SQL 分析,但任务状态仍为运行中,直至手动暂停任务。 |
调度周期 | 定时 SQL 分析任务的调度周期,调度周期决定每个实例的调度时间。调度周期支持指定时间间隔或固定触发时间。
建议调度周期的长度大于等于查询时间窗口的长度,否则可能出现调度不及时,查询结果不正确。例如调度周期为每隔 10 分钟执行一次,则 SQL 时间窗口长度最大为 10 分钟。
可选择如下任一配置: - 分钟:每隔 1~1440 分钟执行一次。
- 天:每天固定时间点执行一次。
- Cron:通过 Cron 表达式指定任务的调度时间,最小粒度为分钟,最大支持 30 天,24 小时制。
例如 0 18 * * *,表示每天 18 点整调度一次定时 SQL 分析任务。
|
时区选择 | 调度周期为 Cron 时需选择时区。常见的时区列表请参见选择时区。 |
SQL时间窗口 | 定时 SQL 分析任务运行时,日志检索分析的时间范围,左闭右开格式。
SQL 时间窗口最大为 31 天,最小为 1 分钟。设置 SQL 时间窗口大于 24 小时,可能会因数据量过大导致执行实例运行失败或计算结果不准确。SQL 时间窗口的语法请参考SQL 时间窗口语法。 说明 配置示例: - 开始时间:2023-8-14 10:00
- 调度周期:每隔 60 分钟执行一次
- SQL时间窗口:
[@h-1h,@h) - 执行延迟:10 秒
在 2023-8-14 10:00:00 创建第一个实例,10:00:10 开始执行实例,分析 [09:00:00~10:00:00) 期间的日志数据。
在 2023-8-14 11:00:00 创建第二个实例,11:00:10 开始执行实例,分析 [10:00:00~11:00:00) 期间的日志数据。 |
SQL | 定时 SQL 分析任务定期执行的查询分析语句,应符合日志服务的检索分析语法。详细语法说明请参考检索概述和分析概述。 |
任务超时 | 任务超过最大超时时间或最大重试次数时,定时 SQL 会设置状态为失败并结束,您可以接受告警并手动重试。 - 最长时间范围:60~1800 秒。
- 最大次数范围:1~20 次。
|
执行延迟 | 每次调度的延迟时间,支持设置为 0~120 秒。
当日志数据量大、采集任务繁忙时,数据写入日志主题可能存在一定延迟,在该场景下可以指定执行延迟时间,保证检索分析时的数据完整性。 |