You need to enable JavaScript to run this app.
导航

服务日志字段

最近更新时间2024.01.18 09:58:32

首次发布时间2022.11.09 11:47:36

日志服务提供 TOS 数据导入运行日志等多种功能运行过程中的日志信息,本文档介绍各种日志类型对应的字段信息。

服务日志类型

日志服务提供的服务日志类型如下:

日志类型

对应功能

存储位置(Topic)

说明

数据导入运行日志

  • TOS 数据导入
  • Kafka 数据导入

tls_import-task

TOS 或 Kafka 数据导入任务完成之后自动记录此日志。日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。

数据导入错误日志

  • TOS 数据导入
  • Kafka 数据导入

tls_import-task

仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报,每个导入异常的文件会记录一条日志信息。

LogCollector 状态日志

LogCollector 机器组

tls_log-collector-status

手动开启 LogCollector 服务日志功能之后才会记录。开启后,每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。

LogCollector 业务日志

LogCollector 机器组

tls_log-collector-business

手动开启 LogCollector 服务日志功能之后才会记录。开启后,LogCollector 针对每个采集中的文件每分钟上报一次采集进度。

数据加工运行日志

数据加工

tls_etl-log

运行日志加工任务时,日志服务会自动定时记录数据加工的过程与进度信息,并将其打印在服务日志中。
如果数据加工过程中遇到运行问题,运行日志中会记录错误的详细信息,并将 logging.level 字段标记为 ERROR。

数据投递运行日志

投递数据到 TOS 或 Kafka

tls_shipper-log

开启数据投递后,日志服务会自动将定时触发的投递任务执行情况记录下来,并打印在服务日志中。
如果投递过程中遇到运行问题,运行日志中会记录错误的详细信息。

消费组延迟日志

消费组

tls_consumergroup-log

用户使用 SDK 消费组功能后,日志服务会每 2 分钟将消费组里每个 Shard 的消费延迟秒数记录下来,并打印在服务日志中。

定时 SQL 运行日志

定时 SQL 分析

tls_schedule-sql-log

定时 SQL 分析任务的实例开始运行后,日志服务会定期记录每个实例的执行情况,并打印在服务日志中。

告警策略执行日志

日志告警

tls_alarm-log

告警策略开始运行后,日志服务会定期记录每个监控任务的执行情况,例如执行时间、执行结果等信息,并将其打印在服务日志中。

告警事件日志

日志告警

tls_alarm-log

每次触发告警策略后,日志服务会打印一条告警事件日志,用于记录触发告警时的相关元数据信息。

数据导入运行日志

数据导入运行日志保存在日志主题 tls_import-task 中,日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。

字段

示例

描述

TaskID

123-xxx

导入任务 ID。

TaskStatus

Finished

导入任务状态。包括:

  • Finished:导入成功。
  • Transferring:导入中。
  • Abnormal:导入异常。
  • Stopping:停止中。
  • Stopped:已停止。
  • Restarting:重启中。

SourceType

tos

导入的数据源类型。包括:

  • tos:TOS 数据。
  • Kafka:Kafka 数据。

Transferred

5004

已导入的数据条数。

Failed

0

导入失败的数据条数。

Skipped

0

导入时跳过的数据条数。

NotExist

0

TOS 文件不存在失败个数。
如果是 Kafka 数据源,该字段值固定为 0。

Total

5004

任务总数据条数。

BytesTransferred

20372186

已导入的数据大小,单位为 Byte。

BytesTotal

20372186

所有数据的总大小,单位为 Byte。

数据导入错误日志

数据导入错误日志保存在日志主题 tls_import-task 中,仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报,每个导入异常的文件会记录一条日志信息。

字段

示例

描述

TaskID

123-xxx

导入任务 ID。

SourceType

tos

导入的数据源类型。包括:

  • tos:TOS 数据。
  • Kafka:Kafka 数据。

Object

abc.log

导入对象在 TOS 中的保存路径。
如果是 Kafka 数据源,该字段值为空。

Status

NotExist

导入数据的状态。包括:

  • Success:导入成功。
  • Failed:导入失败。具体原因请参考 Error 字段。
  • Skip:跳过。由于超过 TOS 对象大小限制、解压缩失败等原因,跳过导入该 TOS 文件。
  • NotExist:TOS 文件不存在。由于导入过程中文件删除等原因,导致日志服务未能查找到该 TOS 文件。

Error

Obj not exist

导入失败原因。包括:

  • Obj not exist:TOS 导入对象不存在。由于导入过程中文件删除等原因,导致日志服务未能查找到该文件。
  • TOS 访问失败、Kafka 访问失败等其他原因。

LogCollector 状态日志

LogCollector 状态日志保存在日志主题 tls_log-collector-status 中,每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。

字段

描述

InstanceId

LogCollector 客户端唯一标识。

Label

机器标识数组。

IP

机器的 IP 地址。

Version

LogCollector 版本号。

HeartbeatStatus

LogCollector 最近一次心跳的状态:

  • normal :心跳状态正常。
  • abnormal:心跳状态异常。

MemoryUsed

内存使用量,单位为 Byte。

CpuUsage

CPU 使用率。

SendTotalLogSize

LogCollector 最近一次启动以来,已发送的日志总量,单位为 Byte。

SendTotalLogCount

已发送的日志条数。

SendSuccessLogSize

发送成功的日志总量,单位为 Byte。

SendSuccessLogCount

发送成功的日志条数。

SendDropLogSize

因发送失败而丢弃的日志总量,单位为 Byte。

SendDropLogCount

因发送失败而丢弃的日志条数。

SendTotalReqs

向服务端发送的总请求数。

SendSuccessReqs

发送成功的请求数。

SendFailReqs

发送失败的请求数。

SendLimitReqs

因限流而被拦截的请求数。

SendDeleteReqs

因目标 Topic 已删除而被拦截的请求数。

QueueCurrSize

LogCollector 客户端当前缓存的日志数量。

QueueCurrBytes

LogCollector 客户端当前缓存的日志量,单位为 Byte。

LogCollector 业务日志

LogCollector 业务日志保存在日志主题 tls_log-collector-business 中,LogCollector 针对每个采集中的文件每分钟上报一次采集进度。

字段

描述

InstanceId

LogCollector 客户端唯一标识。

Label

机器标识数组。

IP

机器的 IP 地址。

Version

LogCollector 版本号。

TopicId

日志写入的目标 Topic。

FilePath

正在采集的日志文件的路径。

RealFilePath

正在采集的日志文件在物理机上的实际路径。

FileSize

正在采集的日志文件大小,单位为 Byte。

ReadOffset

读取文件的偏移量,单位为 Byte。

SendSuccessOffset

发送成功的偏移量,单位为 Byte。

StartReadTimestamp

开始读取该文件的时间戳。

LastReadTimestamp

最近一次读取该文件的时间戳。

ParseSuccessSize

解析成功的日志量,单位为 Byte。

ParseSuccessCount

解析成功的日志条数。

ParseFailSize

解析失败的日志量,单位为 Byte。

ParseFailCount

解析失败的日志条数。

FormatTimeSuccessSize

根据指定时间格式解析时间字段时,解析成功的日志大小,单位为 Byte。

FormatTimeSuccessCount

根据指定时间格式解析时间字段时,解析成功的日志条数。

FormatTimeFailSize

根据指定时间格式解析时间字段时,解析失败的日志大小,单位为 Byte。

FormatTimeFailCount

根据指定时间格式解析时间字段时,解析失败的日志条数。

FilterSize

根据指定的过滤器配置,已过滤的日志大小,单位为 Byte。

FilterCount

根据指定的过滤器配置,已过滤的日志条数。

HarvesterStatus

文件采集器状态,包括:

  • started:已启动
  • waiting:等待采集
  • running:采集中
  • closed:结束采集

数据加工运行日志

数据加工运行日志保存在日志主题 tls_etl-log 中,日志服务针对每个数据加工任务均定期记录数据加工的运行日志,主要包括源日志主题分区粒度的输入、过滤、失败和输出信息。

字段

示例

描述

task_id

123-xxx

日志加工的任务 ID。

etl_context.project

abc-xxx

加工任务的源 Topic 所属 Project。

etl_context.topic

edf-xxx

加工任务的源日志主题 ID。

etl_context.shard_id

0

加工任务消费的源日志主题的分区 ID。

logging.level

INFO

日志等级,包括:

  • DEBUG:调试日志
  • INFO:普通日志
  • WARN:告警日志
  • ERROR:错误日志

logging.message

division zero

数据加工任务的相关信息。

  • 普通日志(logging.level 为 INFO)中,该字段为空。
  • 错误日志(logging.level 为 ERROR)中,该字段为报错信息。例如:
    • invalid literal for int() with base 10: 'ss':将字符串“ss”转换为十进制数值失败,您需要对这种非数值的待转换字段进行特殊处理。
    • division zero:被除数不可指定为 0。建议检查加工规则,在做除数运算前先对分母进行0值判断。

process_info.accept

100

加工任务运行过程中内已消费的日志的数量,即从源日志主题中读取出了多少条日志。

process_info.dropped

0

加工任务运行过程中过滤掉的日志数量,即调用 e_drop 函数删除的日志数量,或加工函数转换失败的日志数量。

process_info.delivered

100

加工任务运行过程中输出的数量,即已成功完成加工并准备写入目标日志主题的日志数量。

process_info.failed

0

加工任务运行过程中输出失败的日志数量,例如因目标日志主题被删除而导致输出失败。

数据投递运行日志

数据投递运行日志保存在日志主题 tls_shipper-log 中。日志服务针对每个数据投递任务均定期记录任务执行过程中的运行信息,主要包括任务 ID、任务状态、投递数量、流量等信息。

字段

示例

描述

LogCount

10

本次投递任务处理的日志条数。

LogStartTime

1678781706

本次投递任务处理的第一条日志的时间戳。

LogEndTime

1678781706

本次投递任务处理的最后一条日志的时间戳。

ProcessSpeed

1000

本次投递任务的投递速率,单位为 Byte/s。

SendStartTime

1678781706

本次投递任务的起始时间戳。

SendEndTime

1678781706

本次投递任务的结束时间戳。

ShardId

0

本次投递任务处理的待投递 Topic 的哪一个 Shard。

ShipperId

411-xxx

本次投递任务所属的投递配置的 ID。

TaskId

task-xxx

本次投递任务的 ID。

TopicId

b67-xxx

本次投递任务投递的 Topic 的 ID。

TopicName

testtopic

本次投递任务投递的 Topic 的名称。

WriteTraffic

1000

本次投递任务产生的写流量大小,单位为 Byte。

ReadTraffic

1000

本次投递任务产生的读流量大小,单位为 Byte。

Message

Task shipper success.

本次投递任务的执行响应信息。当执行失败时,会记录错误原因。其中包括:

  • StatusCode:状态码,为 1 表示成功,其他值表示失败。
  • ErrorCode:错误码,表示失败的原因类型。
  • ErrorMessage:错误信息,表示失败的详细信息。常见的响应信息如下:
    • Task shipper success:任务执行成功。
    • No log data:任务执行成功,但实际并没有需要投递的日志。
    • Shipper tos bucket not exist:任务执行失败,原因是投递配置指定的 TOS 桶不存在。
    • Shipper Task is cancelled:任务执行失败,原因是投递任务被取消。

Status

Success

本次投递任务的执行结果。包括:

  • Success:执行成功,本次处理的日志条数均已成功投递。
  • Failed:执行失败,详细原因请查看 Message 字段。

消费组延迟日志

消费组延迟日志保存在日志主题 tls_consumergroup-log 中。日志服务对用户的每个投入使用的 ConsumerGroup 每 2 分钟记录一条消费延迟进度到服务日志中。主要包括消费组 ID、Topic ID、Shard ID 和延迟时长等信息。

字段

示例

描述

ConsumerGroupName

test

消费组名称。

ProjectId

xxx

消费组所属的日志项目 ID。

TopicId

xxx

本次延迟信息对应的日志主题 ID。

ShardId

0

本次延迟信息对应的分区 ID。

FallBehindSecond

10

当前消费组在当前分区的消费延迟秒数,即用户最新消费的一条数据与当前分区实际最新的一条数据的时间戳差值。

定时 SQL 运行日志

定时 SQL 运行日志保存在日志主题 tls_schedule-sql-log 中。定时 SQL 运行日志用于记录日志服务定时 SQL 分析任务每个调度实例的详细执行情况,包括定时 SQL 分析任务 ID、定时 SQL 执行实例 ID、定时 SQL 调度时间等。

字段

示例

描述

task_id

0c554a3a-a307-43ec-857a-3743f8a0****

定时 SQL 分析任务 ID。

process_id

0c554a3a-a307-43ec-857a-3743f8a0****

定时 SQL 分析任务实例 ID。

task_start_time

1692180957000

任务执行开始时间,格式为毫秒级时间戳。

task_end_time

1692181022000

任务执行结束时间,格式为毫秒级时间戳。

task_running_time

65

任务执行时长,单位为毫秒。

process_time

1692180883

实例的调度时间,格式为秒级时间戳。

process_start_time

1692180780

调度开始时间,格式为秒级时间戳。

process_end_time

1692180840

调度结束时间,格式为秒级时间戳。

process_log_nums

1

处理的日志数量。

process_result

{status:"success","message":"success"}

实例调度结果。其中:

  • status:调度结果,包括:
    • success:调度成功
    • error:调度失败
  • message:附加说明,描述状态的具体信息。
    • 实例状态为 error 时,此字段将返回错误的具体信息,例如 Dest topic xxx doesn't exist 表示目标端日志主题不存在。
    • 实例状态为 success 时,此字段将返回 success

告警策略执行日志

告警策略执行日志保存在日志主题 tls_alarm-log 中。告警策略开始运行后,日志服务会记录每次告警监控的执行情况,例如执行时间、执行结果等信息,并将其打印在服务日志中。

字段

示例

描述

AccountId

200000****

火山引擎账号 ID。

ProjectId

a2026e02-91d8-460e-887f-19db4da9****

日志项目 ID。

ProjectName

tls_service-project

日志项目名称。

AlarmName

rewrwer-copy

告警名称。

AlarmId

1482fce9-6655-4aa2-bf6b-9a1d4e20****

告警策略 ID。

TopicIds

ebee41c6-ba2f-4dba-84be-b310ce4c****

日志主题 ID 列表。

TopicNames

tls_etl-log

日志名称列表。

HappenThreshold

$1.count>=100

告警策略中配置的触发条件。

AlarmFrequency

30

告警频率。

ReachTrigger

FALSE

是否触发告警。

Notify

NotSend

执行结果。

  • NotSend:未发送
  • SendFailed:发送失败
  • PartialSuccess:部分发送
  • AllSuccess:全部发送

NotifyGroup

[{"NotifyGroupId":"87527591-06b2-4e40-bcee-c92416ba****","Name":"yyj-tsy-001"}]

告警组列表。

  • NotifyGroupId:告警组 ID。
  • Name:告警组名称。

ProcessResult

AlarmConditionEvaluateError

执行结果。以下为常见的执行结果。

  • SendFail:通知发送失败。
  • QueryError:分析语句执行异常,请检查分析语句和日志主题的索引配置。
  • PartialSent:部分告警发送成功

ProcessMsg

Alarm evaluate error: result of '$1.count' does not exist

执行结果详细信息。

NotifyType

AlarmRecover

告警类型。

Severity

notice

告警级别。

AlarmDuration

0

告警周期。

SmsBillingCount

0

短信发送计费条数。

AlarmVersion

2

告警版本。

SmsSuccessCount

0

告警短信发送成功条数。

SmsFailedCount

0

告警短信发送失败条数。

VmsSuccessCount

0

告警电话成功次数。

VmsFailedCount

0

告警电话失败次数。

EmailSuccessCount

0

告警邮件成功次数。

EmailFailedCount

0

告警邮件失败次数。

WebHookSuccessCount

0

WebHook 请求成功次数。

WebHookFailedCount

0

WebHook 请求失败次数。

Env

{"AlarmStartTime":"","FireResults":"","FireResultsCount":0,"Results":"[{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c****\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf08****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c5b9f\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c****\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}}]"}

告警执行时的常用变量字段值。

LogType

Alarm

日志的类型。

  • Alarm:告警策略执行日志
  • Incident:告警事件日志

QueryUrl

https://console-stable.volcanicengine.com/tls/region:tls+cn-chongqing-sdv/project/a2026e02-91d8-460e-887f-19db4da9****/search?codebase64=KiBBTkQgIHRhc2tfaWQ6Ijc5NzVlZmQ3LWU2M2ItNGNkZC1iNTFjLTA2ZDljZjA4N2VmMiIgfCBzZWxlY3Qgc3VtKHByb2Nlc3NfaW5mby5mYWlsZWQpIEFTIGZhaWxlZF9j****==&hideIndexBtn=false&hideShareBtn=false&hideTitle=false&hideTopic=false&time=2023-12-04%2016:22:44%2C2023-12-04%2016:37:44&topicId=ebee41c6-ba2f-4dba-84be-b310ce4****

第一条告警查询语句的检索分析页面 URL。

告警事件日志

告警事件日志保存在日志主题 tls_alarm-log 中。每次触发告警策略后,日志服务会打印一条告警事件日志,用于记录触发告警时的相关元数据信息。

字段

示例

描述

AccountId

200000****

火山引擎账号 ID。

InstanceId

94285baf-7568-48dc-983f-26402bb****

告警实例 ID。

IncidentId

06a80b71-f578-4732-aeab-f215a7e8****

告警事件 ID。

AlarmAnnotations

{"desc":"aaa001告警触发","title":"aaa001告警触发"}

告警元信息说明。

ProjectId

a2026e02-91d8-460e-887f-19db4da****

日志项目 ID。

ProjectName

tls_service-project

日志项目名称。

AlarmName

rewrwer-copy

告警名称。

AlarmId

1482fce9-6655-4aa2-bf6b-9a1d4e20****

告警策略 ID。

Env

{"AlarmStartTime":"","FireResults":"","FireResultsCount":0,"Results":"[{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c****\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf08****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c5b9f\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c****\",\"TopicName\":\"tls_etl-log\",\"Query\":\"* AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" | select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}}]"}

告警执行时的常用变量字段值。

LogType

Alarm

日志的类型。

  • Alarm:告警策略执行日志。
  • Incident:告警事件日志。