文档中心

服务日志字段

最近更新时间：2024.04.08 17:35:29

首次发布时间：2022.11.09 11:47:36

日志服务提供 TOS 数据导入运行日志等多种功能运行过程中的日志信息，本文档介绍各种日志类型对应的字段信息。

服务日志类型

日志服务提供的服务日志类型如下：

日志类型	对应功能	存储位置（Topic）	说明
数据导入运行日志	TOS 数据导入 Kafka 数据导入	tls_import-task	TOS 或 Kafka 数据导入任务完成之后自动记录此日志。日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。
数据导入错误日志	TOS 数据导入 Kafka 数据导入	tls_import-task	仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报，每个导入异常的文件会记录一条日志信息。
LogCollector 状态日志	LogCollector 机器组	tls_log-collector-status	手动开启 LogCollector 服务日志功能之后才会记录。开启后，每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。
LogCollector 业务日志	LogCollector 机器组	tls_log-collector-business	手动开启 LogCollector 服务日志功能之后才会记录。开启后，LogCollector 针对每个采集中的文件每分钟上报一次采集进度。
数据加工运行日志	数据加工	tls_etl-log	运行日志加工任务时，日志服务会自动定时记录数据加工的过程与进度信息，并将其打印在服务日志中。如果数据加工过程中遇到运行问题，运行日志中会记录错误的详细信息，并将 `logging.level` 字段标记为 ERROR。
数据投递运行日志	投递数据到 TOS 或 Kafka	tls_shipper-log	开启数据投递后，日志服务会自动将定时触发的投递任务执行情况记录下来，并打印在服务日志中。如果投递过程中遇到运行问题，运行日志中会记录错误的详细信息。
消费组延迟日志	消费组	tls_consumergroup-log	用户使用 SDK 消费组功能后，日志服务会每 2 分钟将消费组里每个 Shard 的消费延迟秒数记录下来，并打印在服务日志中。
定时 SQL 运行日志	定时 SQL 分析	tls_schedule-sql-log	定时 SQL 分析任务的实例开始运行后，日志服务会定期记录每个实例的执行情况，并打印在服务日志中。
告警策略执行日志	日志告警	tls_alarm-log	告警策略开始运行后，日志服务会定期记录每个监控任务的执行情况，例如执行时间、执行结果等信息，并将其打印在服务日志中。
告警事件日志	日志告警	tls_alarm-log	每次触发告警策略后，日志服务会打印一条告警事件日志，用于记录触发告警时的相关元数据信息。

数据导入运行日志

数据导入运行日志保存在日志主题 tls_import-task 中，日志服务针对每个导入任务记录一次数据导入的运行和导入细节信息。

字段	示例	描述
TaskID	123-xxx	导入任务 ID。
TaskStatus	Finished	导入任务状态。包括： Finished：导入成功。 Transferring：导入中。 Abnormal：导入异常。 Stopping：停止中。 Stopped：已停止。 Restarting：重启中。
SourceType	tos	导入的数据源类型。包括： tos：TOS 数据。 Kafka：Kafka 数据。
Transferred	5004	已导入的数据条数。
Failed	0	导入失败的数据条数。
Skipped	0	导入时跳过的数据条数。
NotExist	0	TOS 文件不存在失败个数。如果是 Kafka 数据源，该字段值固定为 0。
Total	5004	任务总数据条数。
BytesTransferred	20372186	已导入的数据大小，单位为 Byte。
BytesTotal	20372186	所有数据的总大小，单位为 Byte。

数据导入错误日志

数据导入错误日志保存在日志主题 tls_import-task 中，仅在 TOS 或 Kafka 数据导入任务运行过程中遇到异常或故障时才会上报，每个导入异常的文件会记录一条日志信息。

字段	示例	描述
TaskID	123-xxx	导入任务 ID。
SourceType	tos	导入的数据源类型。包括： tos：TOS 数据。 Kafka：Kafka 数据。
Object	abc.log	导入对象在 TOS 中的保存路径。如果是 Kafka 数据源，该字段值为空。
Status	NotExist	导入数据的状态。包括： Success：导入成功。 Failed：导入失败。具体原因请参考 Error 字段。 Skip：跳过。由于超过 TOS 对象大小限制、解压缩失败等原因，跳过导入该 TOS 文件。 NotExist：TOS 文件不存在。由于导入过程中文件删除等原因，导致日志服务未能查找到该 TOS 文件。
Error	Obj not exist	导入失败原因。包括： Obj not exist：TOS 导入对象不存在。由于导入过程中文件删除等原因，导致日志服务未能查找到该文件。 TOS 访问失败、Kafka 访问失败等其他原因。

LogCollector 状态日志

LogCollector 状态日志保存在日志主题 tls_log-collector-status 中，每个 LogCollector 客户端每分钟以日志形式记录一次运行状态。

字段	描述
InstanceId	LogCollector 客户端唯一标识。
Label	机器标识数组。
IP	机器的 IP 地址。
Version	LogCollector 版本号。
HeartbeatStatus	LogCollector 最近一次心跳的状态： normal ：心跳状态正常。 abnormal：心跳状态异常。
MemoryUsed	内存使用量，单位为 Byte。
CpuUsage	CPU 使用率。
SendTotalLogSize	LogCollector 最近一次启动以来，已发送的日志总量，单位为 Byte。
SendTotalLogCount	已发送的日志条数。
SendSuccessLogSize	发送成功的日志总量，单位为 Byte。
SendSuccessLogCount	发送成功的日志条数。
SendDropLogSize	因发送失败而丢弃的日志总量，单位为 Byte。
SendDropLogCount	因发送失败而丢弃的日志条数。
SendTotalReqs	向服务端发送的总请求数。
SendSuccessReqs	发送成功的请求数。
SendFailReqs	发送失败的请求数。
SendLimitReqs	因限流而被拦截的请求数。
SendDeleteReqs	因目标 Topic 已删除而被拦截的请求数。
QueueCurrSize	LogCollector 客户端当前缓存的日志数量。
QueueCurrBytes	LogCollector 客户端当前缓存的日志量，单位为 Byte。

LogCollector 业务日志

LogCollector 业务日志保存在日志主题 tls_log-collector-business 中，LogCollector 针对每个采集中的文件每分钟上报一次采集进度。

字段	描述
InstanceId	LogCollector 客户端唯一标识。
Label	机器标识数组。
IP	机器的 IP 地址。
Version	LogCollector 版本号。
TopicId	日志写入的目标 Topic。
FilePath	正在采集的日志文件的路径。
RealFilePath	正在采集的日志文件在物理机上的实际路径。
FileSize	正在采集的日志文件大小，单位为 Byte。
ReadOffset	读取文件的偏移量，单位为 Byte。
SendSuccessOffset	发送成功的偏移量，单位为 Byte。
StartReadTimestamp	开始读取该文件的时间戳。
LastReadTimestamp	最近一次读取该文件的时间戳。
ParseSuccessSize	解析成功的日志量，单位为 Byte。
ParseSuccessCount	解析成功的日志条数。
ParseFailSize	解析失败的日志量，单位为 Byte。
ParseFailCount	解析失败的日志条数。
FormatTimeSuccessSize	根据指定时间格式解析时间字段时，解析成功的日志大小，单位为 Byte。
FormatTimeSuccessCount	根据指定时间格式解析时间字段时，解析成功的日志条数。
FormatTimeFailSize	根据指定时间格式解析时间字段时，解析失败的日志大小，单位为 Byte。
FormatTimeFailCount	根据指定时间格式解析时间字段时，解析失败的日志条数。
FilterSize	根据指定的过滤器配置，已过滤的日志大小，单位为 Byte。
FilterCount	根据指定的过滤器配置，已过滤的日志条数。
HarvesterStatus	文件采集器状态，包括： started：已启动 waiting：等待采集 running：采集中 closed：结束采集

数据加工运行日志

数据加工运行日志保存在日志主题 tls_etl-log 中，日志服务针对每个数据加工任务均定期记录数据加工的运行日志，主要包括源日志主题分区粒度的输入、过滤、失败和输出信息。

字段	示例	描述
task_id	123-xxx	日志加工的任务 ID。
etl_context.project	abc-xxx	加工任务的源 Topic 所属 Project。
etl_context.topic	edf-xxx	加工任务的源日志主题 ID。
etl_context.shard_id	0	加工任务消费的源日志主题的分区 ID。
logging.level	INFO	日志等级，包括： DEBUG：调试日志 INFO：普通日志 WARN：告警日志 ERROR：错误日志
logging.message	division zero	数据加工任务的相关信息。普通日志（logging.level 为 INFO）中，该字段为空。错误日志（logging.level 为 ERROR）中，该字段为报错信息。例如： `invalid literal for int() with base 10: 'ss'`：将字符串“ss”转换为十进制数值失败，您需要对这种非数值的待转换字段进行特殊处理。 `division zero`：被除数不可指定为 0。建议检查加工规则，在做除数运算前先对分母进行0值判断。
process_info.accept	100	加工任务运行过程中内已消费的日志的数量，即从源日志主题中读取出了多少条日志。
process_info.dropped	0	加工任务运行过程中过滤掉的日志数量，即调用 e_drop 函数删除的日志数量，或加工函数转换失败的日志数量。
process_info.delivered	100	加工任务运行过程中输出的数量，即已成功完成加工并准备写入目标日志主题的日志数量。
process_info.failed	0	加工任务运行过程中输出失败的日志数量，例如因目标日志主题被删除而导致输出失败。

数据投递运行日志

数据投递运行日志保存在日志主题 tls_shipper-log 中。日志服务针对每个数据投递任务均定期记录任务执行过程中的运行信息，主要包括任务 ID、任务状态、投递数量、流量等信息。

字段	示例	描述
LogCount	10	本次投递任务处理的日志条数。
LogStartTime	1678781706	本次投递任务处理的第一条日志的时间戳。
LogEndTime	1678781706	本次投递任务处理的最后一条日志的时间戳。
ProcessSpeed	1000	本次投递任务的投递速率，单位为 Byte/s。
SendStartTime	1678781706	本次投递任务的起始时间戳。
SendEndTime	1678781706	本次投递任务的结束时间戳。
ShardId	0	本次投递任务处理的待投递 Topic 的哪一个 Shard。
ShipperId	411-xxx	本次投递任务所属的投递配置的 ID。
TaskId	task-xxx	本次投递任务的 ID。
TopicId	b67-xxx	本次投递任务投递的 Topic 的 ID。
TopicName	testtopic	本次投递任务投递的 Topic 的名称。
WriteTraffic	1000	本次投递任务产生的写流量大小，单位为 Byte。
ReadTraffic	1000	本次投递任务产生的读流量大小，单位为 Byte。
Message	Task shipper success.	本次投递任务的执行响应信息，详细说明如下： StatusCode：状态码。 StatusCode 为 1 表示投递成功，此时您无需关注 ErrorCode 和 ErrorMessage 信息。 StatusCode 为其他值表示投递失败，此时您可以通过 ErrorCode 和 ErrorMessage 查看投递失败的详细信息。 ErrorCode：错误码，表示失败的原因类型。 ErrorMessage：错误信息，表示失败的详细信息。常见的响应信息如下： `Task shipper success`：任务执行成功。 `No log data`：任务执行成功，但实际并没有需要投递的日志。 `Shipper tos bucket not exist`：任务执行失败，原因是投递配置指定的 TOS 桶不存在。 `Shipper Task is cancelled`：任务执行失败，原因是投递任务被取消。
Status	Success	本次投递任务的执行结果。包括： Success：执行成功，本次处理的日志条数均已成功投递。 Failed：执行失败，详细原因请查看 Message 字段。

消费组延迟日志

消费组延迟日志保存在日志主题 tls_consumergroup-log 中。日志服务对用户的每个投入使用的 ConsumerGroup 每 2 分钟记录一条消费延迟进度到服务日志中。主要包括消费组 ID、Topic ID、Shard ID 和延迟时长等信息。

字段	示例	描述
ConsumerGroupName	test	消费组名称。
ProjectId	xxx	消费组所属的日志项目 ID。
TopicId	xxx	本次延迟信息对应的日志主题 ID。
ShardId	0	本次延迟信息对应的分区 ID。
FallBehindSecond	10	当前消费组在当前分区的消费延迟秒数，即用户最新消费的一条数据与当前分区实际最新的一条数据的时间戳差值。

定时 SQL 运行日志

定时 SQL 运行日志保存在日志主题 tls_schedule-sql-log 中。定时 SQL 运行日志用于记录日志服务定时 SQL 分析任务每个调度实例的详细执行情况，包括定时 SQL 分析任务 ID、定时 SQL 执行实例 ID、定时 SQL 调度时间等。

字段	示例	描述
task_id	0c554a3a-a307-43ec-857a-3743f8a0****	定时 SQL 分析任务 ID。
process_id	0c554a3a-a307-43ec-857a-3743f8a0****	定时 SQL 分析任务实例 ID。
task_start_time	1692180957000	任务执行开始时间，格式为毫秒级时间戳。
task_end_time	1692181022000	任务执行结束时间，格式为毫秒级时间戳。
task_running_time	65	任务执行时长，单位为毫秒。
process_time	1692180883	实例的调度时间，格式为秒级时间戳。
process_start_time	1692180780	调度开始时间，格式为秒级时间戳。
process_end_time	1692180840	调度结束时间，格式为秒级时间戳。
process_log_nums	1	处理的日志数量。
process_result	{status:"success","message":"success"}	实例调度结果。其中： status：调度结果，包括： success：调度成功 error：调度失败 message：附加说明，描述状态的具体信息。实例状态为 `error` 时，此字段将返回错误的具体信息，例如 `Dest topic xxx doesn't exist` 表示目标端日志主题不存在。实例状态为 `success` 时，此字段将返回 `success`。

告警策略执行日志

告警策略执行日志保存在日志主题 tls_alarm-log 中。告警策略开始运行后，日志服务会记录每次告警监控的执行情况，例如执行时间、执行结果等信息，并将其打印在服务日志中。

字段	示例	描述
AccountId	200000****	火山引擎账号 ID。
ProjectId	a2026e02-91d8-460e-887f-19db4da9****	日志项目 ID。
ProjectName	tls_service-project	日志项目名称。
AlarmName	rewrwer-copy	告警名称。
AlarmId	1482fce9-6655-4aa2-bf6b-9a1d4e20****	告警策略 ID。
TopicIds	ebee41c6-ba2f-4dba-84be-b310ce4c****	日志主题 ID 列表。
TopicNames	tls_etl-log	日志名称列表。
HappenThreshold	$1.count>=100	告警策略中配置的触发条件。
AlarmFrequency	30	告警频率。
ReachTrigger	FALSE	是否触发告警。
Notify	NotSend	执行结果。 NotSend：未发送 SendFailed：发送失败 PartialSuccess：部分发送 AllSuccess：全部发送
NotifyGroup	[{"NotifyGroupId":"87527591-06b2-4e40-bcee-c92416ba****","Name":"yyj-tsy-001"}]	告警组列表。 NotifyGroupId：告警组 ID。 Name：告警组名称。
ProcessResult	AlarmConditionEvaluateError	执行结果。以下为常见的执行结果。 SendFail：通知发送失败。 QueryError：分析语句执行异常，请检查分析语句和日志主题的索引配置。 PartialSent：部分告警发送成功
ProcessMsg	Alarm evaluate error: result of '$1.count' does not exist	执行结果详细信息。
NotifyType	AlarmRecover	告警类型。
Severity	notice	告警级别。
AlarmDuration	0	告警周期。
SmsBillingCount	0	短信发送计费条数。
AlarmVersion	2	告警版本。
SmsSuccessCount	0	告警短信发送成功条数。
SmsFailedCount	0	告警短信发送失败条数。
VmsSuccessCount	0	告警电话成功次数。
VmsFailedCount	0	告警电话失败次数。
EmailSuccessCount	0	告警邮件成功次数。
EmailFailedCount	0	告警邮件失败次数。
WebHookSuccessCount	0	WebHook 请求成功次数。
WebHookFailedCount	0	WebHook 请求失败次数。
Env	{"AlarmStartTime":"","FireResults":"","FireResultsCount":0,"Results":"[{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c***\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf08***\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c5b9f\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0**\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c*\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}}]"}	告警执行时的常用变量字段值。
LogType	Alarm	日志的类型。 Alarm：告警策略执行日志 Incident：告警事件日志
QueryUrl	https://console-stable.volcanicengine.com/tls/region:tls+cn-chongqing-sdv/project/a2026e02-91d8-460e-887f-19db4da9**/search?codebase64=KiBBTkQgIHRhc2tfaWQ6Ijc5NzVlZmQ3LWU2M2ItNGNkZC1iNTFjLTA2ZDljZjA4N2VmMiIgfCBzZWxlY3Qgc3VtKHByb2Nlc3NfaW5mby5mYWlsZWQpIEFTIGZhaWxlZF9j==&hideIndexBtn=false&hideShareBtn=false&hideTitle=false&hideTopic=false&time=2023-12-04%2016:22:44%2C2023-12-04%2016:37:44&topicId=ebee41c6-ba2f-4dba-84be-b310ce4**	第一条告警查询语句的检索分析页面 URL。

告警事件日志

告警事件日志保存在日志主题 tls_alarm-log 中。每次触发告警策略后，日志服务会打印一条告警事件日志，用于记录触发告警时的相关元数据信息。

字段	示例	描述
AccountId	200000****	火山引擎账号 ID。
InstanceId	94285baf-7568-48dc-983f-26402bb****	告警实例 ID。
IncidentId	06a80b71-f578-4732-aeab-f215a7e8****	告警事件 ID。
AlarmAnnotations	{"desc":"aaa001告警触发","title":"aaa001告警触发"}	告警元信息说明。
ProjectId	a2026e02-91d8-460e-887f-19db4da****	日志项目 ID。
ProjectName	tls_service-project	日志项目名称。
AlarmName	rewrwer-copy	告警名称。
AlarmId	1482fce9-6655-4aa2-bf6b-9a1d4e20****	告警策略 ID。
Env	{"AlarmStartTime":"","FireResults":"","FireResultsCount":0,"Results":"[{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c***\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf08***\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c5b9f\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0**\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}},{\"TopicId\":\"ebee41c6-ba2f-4dba-84be-b310ce4c*\",\"TopicName\":\"tls_etl-log\",\"Query\":\" AND task_id:\\\"7975efd7-e63b-4cdd-b51c-06d9cf0****\\\" \| select sum(process_info.failed) AS failed_count\",\"StartTime\":1701678164,\"EndTime\":1701679064,\"RawResults\":[{\"failed_count\":\"0\"}],\"RawResultsCount\":1,\"FireResult\":{}}]"}	告警执行时的常用变量字段值。
LogType	Alarm	日志的类型。 Alarm：告警策略执行日志。 Incident：告警事件日志。