调用 DescribeHostGroupRules 接口获取机器组上已经应用的采集配置列表。
本接口用于获取机器组上已经被应用的采集配置列表,支持分页查询。调用频率限制为 20 次/s,超出频率限制会报错 ExceedQPSLimit。
下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。
参数 | 类型 | 是否必选 | 示例值 | 描述 |
---|---|---|---|---|
HostGroupId | String | 是 | c7e0e442-19bf-4fb3-b547-5992fb8b**** | 机器组的 ID。 |
PageNumber | Integer | 否 | 1 | 分页查询时的页码。默认为 1,即从第一页数据开始返回。 |
PageSize | Integer | 否 | 20 | 分页大小。默认为 20,最大为 100。 |
下表仅列出本接口特有的返回参数。更多信息请参见返回结构。
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Total | Integer | 1 | 采集配置的数量。 |
RuleInfos | Array of RuleInfo | / | 采集配置信息列表。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Paths | Array of String | ["/data/nginx/log/**/access.log"] | 采集路径列表。 |
Pause | Integer |
| 采集配置的运行状态。
|
RuleId | String | faf****** | 采集配置的 ID。 |
LogType | String |
| 采集模式。
|
TopicId | String | 4a************ | 采集配置所属于的日志主题的 ID。 |
RuleName | String | testname | 采集配置的名称。 |
InputType | Integer |
| 采集类型。
|
LogSample | String | 2018-05-22 15:35:53.850 INFO XXXX | 日志样例。 |
TopicName | String | testname | 采集配置所属于的日志主题的名称。 |
CreateTime | String | 2021-08-18 13:32:23 | 采集配置创建的时间。 |
ModifyTime | String | 2021-08-18 13:32:23 | 采集配置修改的时间。 |
ExtractRule | Object of ExtractRule | / | 提取规则。 |
ExcludePaths | Array of ExcludePath | / | 采集黑名单列表。 |
ContainerRule | Object of ContainerRule | / | 容器采集规则。 |
UserDefineRule | Object of UserDefineRule | / | 用户自定义的采集规则。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Keys | Array of String |
| 日志字段名称(Key)列表。
|
Quote | String | " | 引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。 |
TimeKey | String |
| 日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳,则需要填写 TimeKey 和 TimeFormat。 |
LogRegex | String |
| 整条日志需要匹配的正则表达式。
|
TimeZone | String |
| 时区,支持机器时区(默认)和自定义时区。其中,自定义时区支持 GMT 和 UTC。
|
Delimiter | String | # | 日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。 |
BeginRegex | String |
| 第一行日志需要匹配的正则表达式。
|
TimeFormat | String |
| 时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳,则需要填写 TimeKey 和 TimeFormat。
|
LogTemplate | Object of LogTemplate | { "Type": "Nginx", "Format": "format main '$remote_addr - $remote_user [$time_local] \"$request\" $request_time $request_length $status $body_bytes_sent \"$http_referer\" \"$http_user_agent\"';" } | 根据指定的日志模板自动提取日志字段。 |
UnMatchLogKey | String |
| 当上传解析失败的日志时,解析失败的日志的 key 名称。 |
FilterKeyRegex | Array of FilterKeyRegex |
| 过滤规则列表。
|
TimeExtractRegex | String | [0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+ | 提取时间的正则表达式,用于提取 TimeKey 字段中的时间值并解析为对应的采集时间。 |
UnMatchUpLoadSwitch | Boolean |
| 是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。
|
EnableNanosecond | Boolean |
| 是否启用纳秒精度时间功能。开启后,解析日志时间时会解析并上报纳秒精度的时间。
|
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Type | String |
| 采集路径类型。
|
Value | String |
| 采集路径。必须指定为绝对路径。
|
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
EnvTag | JSON Map |
| 是否将环境变量作为日志标签,添加到原始日志数据中。开启后,日志服务将在日志中新增容器环境变量相关字段,设置多个键值对时,表示添加多个字段。 例如设置 Key 为 source,设置 Value为data_source,假设容器包含环境变量 |
Stream | String |
| 采集信息。
|
KubernetesRule | Object of KubernetesRule | { "NamespaceNameRegex": ".*test.*", "WorkloadType": "Deployment", "WorkloadNameRegex": ".*test.*", "IncludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "PodNameRegex": ".*test.*", "LabelTag": { "Key1": "Value1", "Key2": "Value2" } } | Kubernetes 容器的采集规则。 |
ContainerNameRegex | String | .*test.* | 待采集的容器名称。若未指定容器名称,表示采集机器组中全部容器。 支持正则匹配,例如设置容器名称为 ^(container-test)$ ,表示采集所有名称为 container-test 的容器。 |
ExcludeContainerEnvRegex | JSON Map |
| 容器环境变量黑名单用于指定不采集的容器范围,不启用黑名单时表示采集全部容器。 如果启用容器环境变量黑名单,则 Key 必选,Value 可选。
|
IncludeContainerEnvRegex | JSON Map |
| 容器环境变量白名单通过容器环境变量指定待采集的容器,不启用白名单时表示指定采集全部容器。 启用容器环境变量的白名单时,需要填写键值对。其中 Key 必选,Value 可选。
|
ExcludeContainerLabelRegex | JSON Map |
| 容器 Label 黑名单用于指定不采集的容器范围,不启用黑名单时表示采集全部容器。 如果启用容器 Label 黑名单,则 Key 必选,Value 可选。
|
IncludeContainerLabelRegex | JSON Map |
| 容器 Label 白名单通过容器 Label 指定待采集的容器,不启用白名单时指定采集全部容器。 启用容器 Label 的白名单时,需要填写键值对。其中 Key 必选,Value 可选。
|
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Fields | JSON Map |
| 为日志添加常量字段。常量字段需遵循以下限制:
|
Plugin | Object of Plugin | {"processors":[{"json":{"field":"__content__","trim_keys":{"mode":"all","chars":"#"},"trim_values":{"mode":"all","chars":"#"},"allow_overwrite_keys":true,"allow_empty_values":true} | LogCollector 插件配置。启用插件配置之后,可以添加一个或多个 LogCollector 处理器插件,解析结构复杂或不固定的日志。 |
Advanced | Object of Advanced | { "CloseInactive": 10 } | LogCollector 扩展配置。 |
RawLogKey | String |
| 原始日志字段名称。 |
TailFiles | Boolean |
| LogCollector 采集策略,即指定 LogCollector 采集增量日志还是全量日志。默认为 false,表示采集全量日志。
|
HostnameKey | String |
| hostname 字段名称。 |
EnableRawLog | Boolean |
| 是否上传原始日志。
|
ShardHashKey | Object of ShardHashKey |
| 路由日志分区的规则。
|
ParsePathRule | Object of ParsePathRule |
| 解析采集路径的规则。设置规则后,将通过规则中指定的正则表达式提取采集路径中的字段,并将其作为元数据添加到日志数据中。 说明 采集容器标准输出时,不支持指定该参数。 |
EnableHostname | Boolean |
| 是否上传 hostname 字段,默认为关闭状态。
|
HostGroupLabelKey | String | host_group_label | 用于存储机器组 Label 信息的字段名称。 |
EnableHostGroupLabel | Boolean |
| 是否将机器组的 Label 信息上传到日志服务,默认为关闭状态。
|
TailSizeKb | Integer |
| 增量采集的回溯阈值,单位为 KiB。
|
IgnoreOlder | Integer | 7 | 忽略多久没有更新的日志文件, 单位为小时。 |
MultiCollectsType | String |
| 允许多次采集日志文件。
|
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Type | String |
| 日志模板的类型。支持如下类型:
|
Format | String | log_format main '$remote_addr - $remote_user [$time_local] "$request" $request_time $request_length $status $body_bytes_sent "$http_referer" "$http_user_agent"'; | 日志模板的格式。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Key | String | __content__ | 过滤字段的名称。 |
Regex | String | .*ERROR.* | 过滤字段的日志内容需要匹配的正则表达式。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
LabelTag | JSON Map |
| 是否将 Kubernetes Label 作为日志标签,添加到原始日志数据中。开启后,日志服务将在日志中新增 Kubernetes Pod Label 相关字段。设置多个键值对时,表示添加多个字段。 例如设置 Key 为 source,设置 Value 为 data_source,假设 Pod 包含 Label |
PodNameRegex | String | .*test.* | Pod名称用于指定待采集的容器。不指定 Pod 名称时,表示采集全部容器。 Pod名称支持正则匹配,例如设置 Pod 名称为 ^(http.*)$ ,表示采集以 http 开头的 Pod 下面的所有容器。 |
WorkloadType | String |
| 通过工作负载的类型指定采集的容器,仅支持选择一种类型。未指定类型时,表示采集全部类型的容器。 支持的工作负载类型如下:
|
AnnotationTag | JSON Map | { "Key1": "Value1", "Key2": "Value2" } | 是否将 Kubernetes Annotation 作为日志标签,添加到原始日志数据中。开启后,日志服务将在日志中新增 Kubernetes Pod Annotation 相关字段。设置多个键值对时,表示添加多个字段。例如设置 Key 为 sink,设置 Value 为 data_sink,假设 Pod 包含 Annotation sink=ck ,那么将在日志中新增字段 __tag__data_sink__: ck 。 |
WorkloadNameRegex | String | .*test.* | 通过工作负载的名称指定待采集的容器。未指定工作负载名称时,表示采集全部容器。 工作负载名称支持正则匹配。例如设置工作负载名称为 ^(http.*)$ ,表示采集以 http 开头的工作负载下面的所有容器。 |
NamespaceNameRegex | String | .*test.* | 待采集的 Kubernetes Namespace 名称,不指定 Namespace 名称时表示采集全部容器。 Namespace 名称支持正则匹配。例如设置 Namespace 名称为 ^(tcp|udp)$ ,表示采集 tcp 命名空间、udp 命名空间下面的所有容器。 |
ExcludePodLabelRegex | JSON Map |
| 通过 Pod Label 黑名单指定不采集的容器,不启用表示采集全部容器。 如果需要设置 Pod Label 黑名单,则 Key 必填,Value 选填。
说明
|
IncludePodLabelRegex | JSON Map |
| Pod Label 白名单用于指定待采集的容器。未开启 Pod Label 白名单时,表示采集全部容器。 如果需要设置 Pod Label 白名单,则 Key 必填:
说明
|
EnableAllLabelTag | Boolean |
| 是否将全部的 Kubernetes Label 作为日志标签,添加到原始日志数据中。开启后,日志服务将在日志中新增 Kubernetes Pod 中全部 Label 相关的字段。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
processors | Array of JSON Map |
| LogCollector 插件。支持的插件列表及参数说明请参考 LogCollector 插件概述。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
CloseEOF | Boolean | true | 读取至日志文件的末尾之后,是否释放该日志文件的句柄。默认为 false。 |
CloseRemoved | Boolean | true | 日志文件被移除之后,是否释放该日志文件的句柄。默认为 false。 |
CloseRenamed | Boolean | true | 日志文件被重命名之后,是否释放该日志文件的句柄。默认为 false。 |
CloseTimeout | Integer |
| LogCollector 监控日志文件的最大时长。单位为秒,默认为0秒,表示不限制 LogCollector 监控日志文件的时长。 |
CloseInactive | Integer |
| 释放日志文件句柄的等待时间。当日志文件超过指定时间仍然没有写入新的日志时,释放该日志文件的句柄。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
HashKey | String | 3C | 日志组的 HashKey,用于指定当前日志组要写入的分区(Shard)。此参数的取值范围为 [00000000000000000000000000000000-ffffffffffffffffffffffffffffffff)。 |
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
Keys | Array of String |
| 字段名称列表。 日志服务会根据正则表达式(Regex)将路径样例(PathSample)解析为多个字段,Keys 用于指定每个字段的字段名称。
|
Regex | String | /var/logs/([a-z]*)_any_([a-z]*)/test.log | 用于提取路径字段的正则表达式。必须和采集路径样例匹配,否则无法成功提取。 |
PathSample | String |
| 实际场景的采集路径样例。
|
GET https://tls-{Region}.ivolces.com/DescribeHostGroupRules?HostGroupId=c7e********&PageNumber=1&PageSize=20 HTTP/1.1
HTTP/1.1 200 OK Content-Type: application/json { "total": 1, "RuleInfos": [ { "TopicId": "faf*****", "TopicName": "tn1", "RuleId": "faf6******", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "minimalist_log", "ExtractRule": { "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } }, "CreateTime": "2021-08-18T13:32:23Z", "ModifyTime": "2021-08-18T13:32:23Z" } ] }
下表为您列举了该接口与业务逻辑相关的错误码。公共错误码请参见公共错误码文档。
HTTP 状态码 | 错误码 | 错误信息 | 说明 |
---|---|---|---|
400 | InvalidArgument | Invalid argument key %s, value %s, please check argument. | 参数不合法。 |
404 | HostGroupNotExist | HostGroup %s does not exist | 机器组不存在 |
500 | InternalServerError | We encountered an unexpected server error, please try again later. | 服务器内部错误。 |