调用 CreateRule 接口创建采集配置。 ## 使用说明 * 创建采集配置之前，请确认已完成以下操作： * 已创建日志项目和日志主题。 * 已创建机器组，并确认机器组的服务器心跳状态正常。 * 已在数据源服务器上安装了最新版本的 LogCollector。 * 此接口的调用频率限制为 20 次/s，超出频率限制会报错 ExceedQPSLimit。 * **Advanced** 参数用于扩展配置。启用扩展配置之后，您可以自定义 LogCollector 的高级行为，例如释放文件句柄的时机。 :::tip 如果指定了多个释放句柄的时机要求，满足任一时机要求时立即释放句柄，结束日志文件监控。 ::: ## 请求说明 * 请求方式：POST * 请求地址：https://{tls\-endpoint}/CreateRule ## 请求参数下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见[公共参数](https://www.volcengine.com/docs/6470/112170)。 ### Body |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |TopicId |String |是 |`4a9*********` |采集配置所属的日志主题 ID。 | |RuleName |String |是 |`testname` |采集配置的名称。命名规则请参考[资源命名规则](/docs/6470/74485#.6LWE5rqQ5ZG95ZCN6ZmQ5Yi2)。|\ | | | | |在一个日志主题中唯一。 | |Paths |Array of String |否 |`/` |采集路径列表。|\ | | | | ||\ | | | | |* 最多能够创建 10 个采集路径。|\ | | | | |* 采集路径必须指定为绝对路径，暂不支持相对路径。|\ | | | | |* 当 InputType=0 或 InputType=2 时，采集路径支持完整匹配和通配符模式匹配，通配符只支持`**`、`*`、`?`，但是最多只能配置 1 个`**`通配符。|\ | | | | |* 当 InputType=1 时，无需配置采集路径列表。 | |ExcludePaths |Array of [ExcludePath](#excludepath) |否 |`/` |采集黑名单列表。|\ | | | | ||\ | | | | |* 最多支持创建 10 个采集黑名单。|\ | | | | |* 当 InputType=0 或 InputType=2 时：|\ | | | | | * 当 Type 是 Path 时，Value 表示一个目录。支持完整匹配和通配符模式匹配，通配符只支持`*`、`?`，不支持`**`通配符。|\ | | | | | * 当 Type 是 File 时，Value 表示一个文件名称。支持完整匹配和通配符模式匹配，通配符只支持`**`、`*`、`?`，但是最多只能配置 1 个`**`通配符。|\ | | | | |* 当 InputType=1 时：|\ | | | | | |\ | | | | | 不允许配置采集黑名单列表。 | |LogType |String |否 |`delimiter_log` |采集模式。|\ | | | | ||\ | | | | |* minimalist_log：（默认）单行全文模式。|\ | | | | |* json_log：JSON 模式。|\ | | | | |* delimiter_log：分隔符模式。|\ | | | | |* multiline_log：多行全文模式。|\ | | | | |* fullregex_log：完整正则模式。 | |ExtractRule |Object of [ExtractRule](#extractrule) |否 |`/` |日志提取规则。|\ | | | | |:::tip|\ | | | | |如果 LogType 指定为 minimalist_log 或 json_log 以外其他类型，此参数必选。|\ | | | | ||\ | | | | |:::| |UserDefineRule |Object of [UserDefineRule](#userdefinerule) |否 |`/` |用户自定义的采集规则。 | |LogSample |String |否 |`/` |日志样例。|\ | | | | ||\ | | | | |* 日志样例的长度最大为 3000 个字符。|\ | | | | |* 日志样例的内容必须匹配采集模式。|\ | | | | | * 单行全文模式和 JSON 模式可以不填写日志样例。|\ | | | | | * 其他模式必须填写日志样例，并且日志样例的内容必须匹配采集模式。 | |InputType |Integer |否 |`2` |采集类型。|\ | | | | ||\ | | | | |* 0：（默认）宿主机日志文件。|\ | | | | |* 1：K8s 容器标准输出。|\ | | | | |* 2：K8s 容器内日志文件。 | |ContainerRule |Object of [ContainerRule](#containerrule) |否 |`/` |容器采集规则。 | ### ExcludePath |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Type |String |否 |`Path` |采集路径类型。|\ | | | | ||\ | | | | |* File：文件名称|\ | | | | |* Path：目录 | |Value |String |否 |`/accesslog` |采集路径。必须指定为绝对路径。|\ | | | | ||\ | | | | |* 当 Type 是 Path 时，Value 表示一个目录。|\ | | | | |* 当 Type 是 File 时，Value 表示一个文件名称。 | ### ExtractRule |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Keys |Array of String |否 |`[ "time", "", "level", "msg" ]` |日志字段名称（Key）列表。|\ | | | | ||\ | | | | |* 当且仅当 LogType 为 delimiter_log 或 fullregex_log 时有效。|\ | | | | |* 支持配置最多 100 个字段名称。|\ | | | | |* 当 LogType 为 delimiter_log时，不能配置重复的字段名称，不能指定全部字段名称为空。|\ | | | | |* 当 LogType 为 fullregex_log 时，不能配置重复的字段名称，不能指定字段名称为空。 | |Quote |String |否 |`"` |引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。 | |TimeKey |String |否 |`request_time` |日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。|\ | | | | | |\ | | | | |TimeKey 和 TimeFormat 必须成对出现。 | |LogRegex |String |否 |`[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)` |整条日志需要匹配的正则表达式。|\ | | | | ||\ | | | | |* 当且仅当采集的日志类型为 fullregex_log 时有效。|\ | | | | |* 必须是合法的正则表达式。 | |TimeZone |String |否 |`GMT+08:00` |时区，支持机器时区（默认）和自定义时区。其中，自定义时区支持 GMT 和 UTC。|\ | | | | ||\ | | | | |* GMT 格式：GMT+08：00。|\ | | | | |* UTC 格式：Asia/Shanghai。 | |Delimiter |String |否 |`#` |日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。 | |BeginRegex |String |否 |`[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)` |第一行日志需要匹配的正则表达式。|\ | | | | ||\ | | | | |* 当且仅当 LogType 为 multiline_log 或 fullregex_log 时有效。|\ | | | | |* 必须是合法的正则表达式。 | |TimeFormat |String |否 |`%Y-%m-%dT%H:%M:%S,%f` |时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。|\ | | | | ||\ | | | | |* TimeKey 和 TimeFormat 必须成对出现。|\ | | | | |* 如何配置时间格式，请参考[时间格式](/docs/6470/111835)。 | |LogTemplate |Object of [LogTemplate](#logtemplate) |否 |`{ "Type": "Nginx", "Format": "format main '$remote_addr - $remote_user [$time_local] \"$request\" $request_time $request_length $status $body_bytes_sent \"$http_referer\" \"$http_user_agent\"';" }` |根据指定的日志模板自动提取日志字段。 | |UnMatchLogKey |String |否 |`LogParseFailed` |当上传解析失败的日志时，解析失败的日志的 key 名称。|\ | | | | | |\ | | | | |UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。 | |FilterKeyRegex |Array of [FilterKeyRegex](#filterkeyregex) |否 |`/` |过滤规则列表。|\ | | | | ||\ | | | | |* 当 LogType 为 minimalist_log 或 multiline_log 时，最多能够配置 1 条过滤规则，并且过滤字段的名字 key 必须为 **content**。|\ | | | | |* 当 LogType 为 delimiter_log、json_log 或 fullregex_log 时，最多能够配置 5 条过滤规则，并且过滤字段的名字 key 不能重复、不能为空。过滤字段的日志内容需要匹配的正则表达式必须是合法的正则表达式，并且长度限制为 256 个字符。 | |TimeExtractRegex |String |否 |`[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+` |提取时间的正则表达式，用于提取 `TimeKey`字段中的时间值并解析为对应的采集时间。 | |UnMatchUpLoadSwitch |Boolean |否 |`true` |是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。|\ | | | | ||\ | | | | |* true：上传解析失败的日志。|\ | | | | |* false：不上传解析失败的日志。 | |EnableNanosecond |Boolean |否 |`true` |是否启用纳秒精度时间功能。开启后，解析日志时间时会解析并上报纳秒精度的时间。|\ | | | | ||\ | | | | |* true：开启纳秒精度时间。|\ | | | | |* false：关闭纳秒精度时间。 | |TimeSample |String |否 |`2006-01-02T15:04:05Z07:00` |时间样例。|\ | | | | |用于判断填写的时间解析格式是否正确。 | ### UserDefineRule |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Fields |JSON Map |否 |`{"ClusterID":"dabaad5f-7a10-4771-b3ea-d821f73e****"}` |为日志添加常量字段。常量字段需遵循以下限制：|\ | | | | ||\ | | | | |* 支持上传最多 5 个常量字段。|\ | | | | |* 字段名（Key）不可重复，不可为空。长度限制为 1~128 字符，包括英文字母、数字、和特殊字符（`-_./`），且不能以下划线开头。|\ | | | | |* 字段值（Value）不可为空，长度最大为 512 KiB。 | |Plugin |Object of [Plugin](#plugin) |否 |`{"processors":[{"json":{"field":"__content__","trim_keys":{"mode":"all","chars":"#"},"trim_values":{"mode":"all","chars":"#"},"allow_overwrite_keys":true,"allow_empty_values":true}` |LogCollector 插件配置。启用插件配置之后，可以添加一个或多个 LogCollector 处理器插件，解析结构复杂或不固定的日志。 | |Advanced |Object of [Advanced](#advanced) |否 |`{ "CloseInactive": 10 }` |LogCollector 扩展配置。 | |RawLogKey |String |否 |`__raw__` |原始日志字段名称。|\ | | | | | |\ | | | | |仅在 EnableRawLog 设置为 true 时生效，RawLogKey 默认为 `__raw__`，表示原始的日志数据将被封装在 `__raw__`字段中，和解析后的日志数据一起上传到日志服务中。 | |TailFiles |Boolean |否 |`true` |LogCollector 采集策略，即指定 LogCollector 采集增量日志还是全量日志。默认为 false，表示采集全量日志。|\ | | | | ||\ | | | | |* true：增量采集。LogCollector 采集日志时，只采集文件内新增的内容。监控范围内的日志文件写入新的日志时，触发 LogCollector 日志采集行为。|\ | | | | | * 对于首次采集的日志文件，LogCollector 会根据您指定的增量阈值 `TailSizeKb` ，自动确认采集的位置。|\ | | | | | * 如果新文件大小不超过您所指定的增量阈值，从新文件的起始位置开始首次采集。|\ | | | | | * 如果新文件大小超过您所指定的增量阈值，从新文件的末尾减去增量阈值后的位置开始首次采集，即仅采集增量日志。|\ | | | | | * 对于非首次采集的日志文件，LogCollector 会根据 Checkpoint 确定采集位置，继续采集。|\ | | | | |* false：（默认）全量采集。LogCollector 从每个文档的起始位置开始采集日志，此时 LogCollector 会采集历史日志数据。 | |HostnameKey |String |否 |`hostname` |hostname 字段名称。|\ | | | | | |\ | | | | |仅在 EnableHostname 为 true 时需要设置。 | |EnableRawLog |Boolean |否 |`true` |是否上传原始日志。|\ | | | | ||\ | | | | |* true：上传原始日志。|\ | | | | |* false：（默认）不上传原始日志。 | |ShardHashKey |Object of [ShardHashKey](#shardhashkey) |否 |`{ "HashKey": "3C" }` |路由日志分区的规则。|\ | | | | ||\ | | | | |* 未设置此参数，表示使用默认的负载均衡模式写入日志，将数据包写入当前可用的任一 Shard 中。|\ | | | | |* 设置此参数表示采集日志时使用 HashKey 路由 Shard 模式，日志服务会将数据写入到包含指定 Key 值的 Shard 中。 | |ParsePathRule |Object of [ParsePathRule](#parsepathrule) |否 |`{ "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": ["instance-id", "pod-name"] }` |解析采集路径的规则。设置规则后，将通过规则中指定的正则表达式提取采集路径中的字段，并将其作为元数据添加到日志数据中。|\ | | | | |:::tip|\ | | | | |采集容器标准输出时，不支持指定该参数。|\ | | | | ||\ | | | | |:::| |EnableHostname |Boolean |否 |`true` |是否上传 hostname 字段，默认为关闭状态。|\ | | | | ||\ | | | | |* true：在原始日志中增加一个字段，用于记录日志源的 hostname。此时应通过 HostnameKey 指定 hostname 字段名。|\ | | | | |* false：（默认）不添加 hostname 字段。 | |HostGroupLabelKey |String |否 |`host_group_label` |用于存储机器组 Label 信息的字段名称。 | |EnableHostGroupLabel |Boolean |否 |`true` |是否将机器组的 Label 信息上传到日志服务，默认为关闭状态。|\ | | | | ||\ | | | | |* true：LogCollector 会将机器组的 Label 信息上传到指定字段中。您可以在 **HostGroupLabelKey** 参数中指定字段名称。|\ | | | | |* false（默认）：不上传机器组 Label 信息。 | |TailSizeKb |Integer |否 |`1024` |增量采集的回溯阈值，单位为 KiB。|\ | | | | |当 LogCollector 采集策略是增量采集时，对于首次采集的日志文件：|\ | | | | ||\ | | | | |* 如果新日志文件的大小不超过 `TailSizeKb` 值，从新日志文件的起始位置开始首次采集。|\ | | | | |* 如果新日志文件的大小超过 `TailSizeKb` 值，从新日志文件的末尾减去 `TailSizeKb`值后的位置开始首次采集。 | |IgnoreOlder |Integer |否 |`7` |忽略多久没有更新的日志文件, 单位为小时。 | |MultiCollectsType |String |否 |`RuleID` |允许多次采集日志文件。|\ | | | | ||\ | | | | |* 空：使用日志文件 ID（包括文件 inode、 device 和前 N 个字节的 checksum）来唯一标识日志文件。|\ | | | | |* RuleID：使用采集规则 ID 和日志文件 ID 来唯一标识日志文件。|\ | | | | |* TopicIDRuleName：使用日志主题ID、采集规则 Name 和日志文件 ID 来唯一标识日志文件。 | ### ContainerRule |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |EnvTag |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |是否将环境变量作为日志标签，添加到原始日志数据中。开启后，日志服务将在日志中新增容器环境变量相关字段，设置多个键值对时，表示添加多个字段。例如设置 Key 为 source，设置 Value为data_source，假设容器包含环境变量 `source=DC`，那么将在日志中新增字段 `__tag__data_source__: DC`。 | |Stream |String |否 |`all` |采集信息。|\ | | | | ||\ | | | | |* stdout：采集容器标准输出 stdout。|\ | | | | |* stderr：采集容器标准错误 stderr。|\ | | | | |* all：同时采集容器标准输出 stdout 和容器标准错误 stderr。 | |KubernetesRule |Object of [KubernetesRule](#kubernetesrule) |否 |`{ "NamespaceNameRegex": ".*test.*", "WorkloadType": "Deployment", "WorkloadNameRegex": ".*test.*", "IncludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "PodNameRegex": ".*test.*", "LabelTag": { "Key1": "Value1", "Key2": "Value2" } }` |Kubernetes 容器的采集规则。 | |ContainerNameRegex |String |否 |`.*test.*` |待采集的容器名称。若未指定容器名称，表示采集机器组中全部容器。支持正则匹配，例如设置容器名称为 `^(container-test)$`，表示采集所有名称为 `container-test`的容器。 | |ExcludeContainerEnvRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |容器环境变量黑名单用于指定不采集的容器范围，不启用黑名单时表示采集全部容器。如果启用容器环境变量黑名单，则 Key 必选，Value 可选。|\ | | | | ||\ | | | | |* Value 为空，表示不采集所有在容器环境变量中包含 Key 的容器。|\ | | | | |* Value 不为空，表示采集时只排除匹配键值对的容器，即只排除在容器环境变量中包含 Key、并且其值匹配 Value 的容器。 Value 支持正则匹配，例如设置 Key 为 module，设置 Value 为 `^(tcp\|udp)$`，表示不采集在容器环境变量中包含 module:`tcp`、module:`udp` 的容器。|\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即容器环境变量只要符合任一键值对，就会被排除出采集范围。|\ | | | | |* 启用容器环境变量黑名单时，Key 不能重复。 | |IncludeContainerEnvRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |容器环境变量白名单通过容器环境变量指定待采集的容器，不启用白名单时表示指定采集全部容器。启用容器环境变量的白名单时，需要填写键值对。其中 Key 必选，Value 可选。|\ | | | | ||\ | | | | |* Value 为空：采集所有在容器环境变量中包含 Key 的容器。|\ | | | | |* Value 不为空：只采集在容器环境变量中包含 Key 并且其值匹配 Value 的容器。 Value 支持正则匹配。例如设置 Key 为 module，设置 Value 为 `^(tcp\|udp)$`，表示只采集在容器环境变量中包含 module:`tcp`、module:`udp` 的容器。|\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即容器环境变量只要符合任一 Key\-Value 对就会被列为采集范围。|\ | | | | |* 启用容器环境变量白名单时，Key 不能重复。 | |ExcludeContainerLabelRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |容器 Label 黑名单用于指定不采集的容器范围，不启用黑名单时表示采集全部容器。如果启用容器 Label 黑名单，则 Key 必选，Value 可选。|\ | | | | ||\ | | | | |* Value 为空，表示不采集所有在容器 Label 中包含 Key 的容器。|\ | | | | |* Value 不为空，表示采集时只排除匹配键值对的容器，即只排除在容器 Label 中包含 Key、并且其值匹配 Value 的容器。 Value支持正则匹配，例如设置 Key 为 app，设置 Value 为 `^(test1\|test2)$`，表示不采集在容器 Label 中包含 app:test1、app:test2 的容器。|\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即容器 Label 只要符合任一键值对，就会被排除出采集范围。|\ | | | | |* 启用容器 Label 黑名单时，Key不能重复。 | |IncludeContainerLabelRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |容器 Label 白名单通过容器 Label 指定待采集的容器，不启用白名单时指定采集全部容器。启用容器 Label 的白名单时，需要填写键值对。其中 Key 必选，Value 可选。|\ | | | | ||\ | | | | |* Value 为空：采集所有在容器 Label 中包含 Key 的容器。|\ | | | | |* Value 不为空：只采集在容器 Label 中包含 Key 并且其值匹配 Value 的容器。 Value 支持正则匹配。例如设置Key 为 app，设置 Value 为 `^(test1\|test2)$`，表示只采集在容器 Labe l中包含 app:test1、app:test2 的容器。|\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即容器 Label 只要符合任一 Key\-Value 对就会被列为采集范围。|\ | | | | |* 启用容器 Label 白名单时，Key 不能重复。 | ### LogTemplate |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Type |String |否 |`Nginx` |日志模板的类型。支持如下类型：|\ | | | | ||\ | | | | |* Nginx：Nginx类型的日志模板。 | |Format |String |否 |`log_format main '$remote_addr - $remote_user [$time_local] "$request" $request_time $request_length $status $body_bytes_sent "$http_referer" "$http_user_agent"';` |日志模板的格式。 | ### FilterKeyRegex |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Key |String |否 |`__content__` |过滤字段的名称。 | |Regex |String |否 |`.*ERROR.*` |过滤字段的日志内容需要匹配的正则表达式。 | ### Plugin |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |processors |Array of JSON Map |否 |`{ "processors":[ { "json":{ "field":"__content__", "trim_keys":{ "mode":"all", "chars":"#" }, "trim_values":{ "mode":"all", "chars":"#" }, "allow_overwrite_keys":true, "allow_empty_values":true } } ] }` |LogCollector 插件。支持的插件列表及参数说明请参考 [LogCollector 插件概述](https://www.volcengine.com/docs/6470/147805)。 | ### Advanced |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |CloseEOF |Boolean |否 |`true` |读取至日志文件的末尾之后，是否释放该日志文件的句柄。默认为 false。 | |CloseRemoved |Boolean |否 |`true` |日志文件被移除之后，是否释放该日志文件的句柄。默认为 false。 | |CloseRenamed |Boolean |否 |`true` |日志文件被重命名之后，是否释放该日志文件的句柄。默认为 false。 | |CloseTimeout |Integer |否 |`1800` |LogCollector 监控日志文件的最大时长。单位为秒，默认为0秒，表示不限制 LogCollector 监控日志文件的时长。|\ | | | | | |\ | | | | |LogCollector 开始监控日志文件时开始计时，超出指定时长后，无论日志文件是否读取完毕，立即释放该日志文件的句柄，结束监控。 | |CloseInactive |Integer |否 |`10` |释放日志文件句柄的等待时间。当日志文件超过指定时间仍然没有写入新的日志时，释放该日志文件的句柄。|\ | | | | | |\ | | | | |单位为秒，取值范围为 1~300 秒，默认为 60 秒。 | |NoLineTerminatorEOFMaxTime |Integer |否 |`5` |LogCollector 没有读到换行符时，最大等待时长。|\ | | | | |单位为秒，默认为5s。|\ | | | | |LogCollector 开始读取日志文件内容时开始计时，超出指定时长没有读到换行符时，将会发送缓冲区的日志。|\ | | | | |当文件落盘间隔较大时，一条完整的日志可能会被分割成两部分分别落盘，可以根据您日志的落盘时间间隔调整此参数。 | ### ShardHashKey |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |HashKey |String |否 |`3C` |日志组的 HashKey，用于指定当前日志组要写入的分区（Shard）。此参数的取值范围为 [00000000000000000000000000000000\-ffffffffffffffffffffffffffffffff)。 | ### ParsePathRule |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |Keys |Array of String |否 |`["instance-id","pod-name"]` |字段名称列表。日志服务会根据正则表达式（Regex）将路径样例（PathSample）解析为多个字段，Keys 用于指定每个字段的字段名称。|\ | | | | ||\ | | | | |* 最多配置 100 个字段名。|\ | | | | |* 字段名不可为空，且不可重复。 | |Regex |String |否 |`/var/logs/([a-z]*)_any_([a-z]*)/test.log` |用于提取路径字段的正则表达式。必须和采集路径样例匹配，否则无法成功提取。 | |PathSample |String |否 |`/var/logs/instanceid_any_podname/test.log` |实际场景的采集路径样例。|\ | | | | ||\ | | | | |* 采集路径样例必须是一个绝对路径。|\ | | | | |* 路径样例中不能包含通配符`*`、`?`、`**`。 | ### KubernetesRule |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |LabelTag |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |是否将 Kubernetes Label 作为日志标签，添加到原始日志数据中。开启后，日志服务将在日志中新增 Kubernetes Pod Label 相关字段。设置多个键值对时，表示添加多个字段。例如设置 Key 为 source，设置 Value 为 data_source，假设 Pod 包含 Label`source=DC`，那么将在日志中新增字段 `__tag__data_source__: DC`。 | |PodNameRegex |String |否 |`.*test.*` |Pod名称用于指定待采集的容器。不指定 Pod 名称时，表示采集全部容器。 Pod名称支持正则匹配，例如设置 Pod 名称为 `^(http.*)$`，表示采集以 http 开头的 Pod 下面的所有容器。 | |WorkloadType |String |否 |`Deployment` |通过工作负载的类型指定采集的容器，仅支持选择一种类型。未指定类型时，表示采集全部类型的容器。支持的工作负载类型如下：|\ | | | | ||\ | | | | |* Deployment：无状态负载|\ | | | | |* StatefulSet：有状态负载|\ | | | | |* DaemonSet：守护进程|\ | | | | |* Job：任务|\ | | | | |* CronJob：定时任务 | |AnnotationTag |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |是否将 Kubernetes Annotation 作为日志标签，添加到原始日志数据中。开启后，日志服务将在日志中新增 Kubernetes Pod Annotation 相关字段。设置多个键值对时，表示添加多个字段。例如设置 Key 为 sink，设置 Value 为 data_sink，假设 Pod 包含 Annotation `sink=ck`，那么将在日志中新增字段 `__tag__data_sink__: ck`。 | |WorkloadNameRegex |String |否 |`.*test.*` |通过工作负载的名称指定待采集的容器。未指定工作负载名称时，表示采集全部容器。工作负载名称支持正则匹配。例如设置工作负载名称为 `^(http.*)$`，表示采集以 http 开头的工作负载下面的所有容器。 | |NamespaceNameRegex |String |否 |`.*test.*` |待采集的 Kubernetes Namespace 名称，不指定 Namespace 名称时表示采集全部容器。 Namespace 名称支持正则匹配。例如设置 Namespace 名称为 `^(tcp\|udp)$`，表示采集 `tcp` 命名空间、`udp`命名空间下面的所有容器。 | |ExcludePodLabelRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |通过 Pod Label 黑名单指定不采集的容器，不启用表示采集全部容器。如果需要设置 Pod Label 黑名单，则 Key 必填，Value 选填。|\ | | | | ||\ | | | | |* Value 为空，表示采集时排除所有在 Pod Label 中包含 Key 的容器。|\ | | | | |* Value 不为空，表示采集时只排除在 Pod Label 中包含 Key 并且其值匹配 Value 的容器。 Value 支持正则匹配，例如设置 Key 为 module，设置 Value 为 `^(tcp\|udp)$`，表示不采集在 Pod Label 中包含 module:`tcp`、module:`udp` 的容器。|\ | | | | ||\ | | | | |:::tip|\ | | | | ||\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即 Pod Label 只要符合任一键值对，就会被排除出采集范围。|\ | | | | |* 启用 Pod Label 黑名单时，Key 不能重复。|\ | | | | |* 正则模糊匹配时，必须添加`.*`。例如`^(http.*)$`，表示匹配以 http 开头的字符|\ | | | | ||\ | | | | |:::| |IncludePodLabelRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |Pod Label 白名单用于指定待采集的容器。未开启 Pod Label 白名单时，表示采集全部容器。如果需要设置 Pod Label 白名单，则 Key 必填：|\ | | | | ||\ | | | | |* Value 为空，表示采集所有在 Pod Label 中包含 Key 的容器。|\ | | | | |* Value 不为空，表示只采集在 Pod Label 中包含 Key 并且其值匹配 Value 的容器，支持正则匹配。 Value 支持正则匹配，例如设置 Key 为 module，设置 Value 为 `^(tcp\|udp)$`，表示只采集在 Pod Label 中包含 module:`tcp`、module:`udp` 的容器。|\ | | | | ||\ | | | | |:::tip|\ | | | | ||\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑`或`，即 Pod Label 只要符合任一键值对，就会被列为采集范围。|\ | | | | |* 启用 Pod Label 白名单时，Key 不能重复。|\ | | | | |* 正则模糊匹配时，必须添加`.*`。例如`^(http.*)$`，表示匹配以 http 开头的字符|\ | | | | ||\ | | | | |:::| |EnableAllLabelTag |Boolean |否 |`true` |是否将全部的 Kubernetes Label 作为日志标签，添加到原始日志数据中。开启后，日志服务将在日志中新增 Kubernetes Pod 中全部 Label 相关的字段。|\ | | | | |例如 Pod 包含 Label `source=DC` 和 `destination=CS`，那么将在日志中新增字段 `__tag__source__: DC` 和 `__tag__destination__: CS`。 | |ExcludePodAnnotationRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |Pod Annotation 黑名单用于指定不采集的容器。|\ | | | | |如果需要设置 Pod Annotation 黑名单，那么 Key 必填，Value 选填。|\ | | | | ||\ | | | | |* Value 为空，表示 Pod Annotation 中包含 Key 的 Pod 下的容器都被排除。|\ | | | | |* Value 不为空，表示 Pod Annotation 中包含 Key 并且其值匹配 Value 的 Pod 下的容器才被排除。|\ | | | | ||\ | | | | |Value 默认为字符串匹配，即只有 Value 和 Pod Annotation 的值完全相同才会匹配。如果该值以 `^` 开头并且以 `$` 结尾，则为正则匹配。例如设置 Key 为 app，设置 Value 为 `^(test1\|test2)$`，表示匹配 Pod Annotation 中包含 app:test1、app:test2 的Pod 下的容器。|\ | | | | |:::tip|\ | | | | ||\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑**或**，即 Pod Annotation 只要符合任一键值对，就会被列为采集范围。|\ | | | | |* 启用 Pod Annotation 黑名单时，Key 不能重复。|\ | | | | |* 正则模糊匹配时，必须添加`.*`。例如`^(http.*)$`，表示匹配以 http 开头的字符|\ | | | | ||\ | | | | |:::| |IncludePodAnnotationRegex |JSON Map |否 |`{ "Key1": "Value1", "Key2": "Value2" }` |Pod Annotation 白名单用于指定待采集的容器。|\ | | | | |如果需要设置 Pod Annotation 白名单，则 Key 必填，Value 选填。|\ | | | | ||\ | | | | |* Value 为空，表示 Pod Annotation 中包含 Key 的 Pod 下的容器都匹配。|\ | | | | |* Value 不为空，表示 Pod Annotation 中包含 Key 并且其值匹配 Value 的 Pod 下的容器才匹配。|\ | | | | ||\ | | | | |Value 默认为字符串匹配，即只有 Value 和 Pod Annotation 的值完全相同才会匹配。如果该值以 `^` 开头并且以 `$` 结尾，则为正则匹配。例如设置 Key 为 app，设置 Value 为 `^(test1\|test2)$`，表示匹配 Pod Annotation 中包含 app:test1、app:test2 的 Pod 下的容器。|\ | | | | |:::tip|\ | | | | ||\ | | | | |* 多个 Key\-Value 对之间的逻辑关系为逻辑**或**，即 Pod Annotation 只要符合任一键值对，就会被列为采集范围。|\ | | | | |* 启用 Pod Annotation 白名单时，Key 不能重复。|\ | | | | |* 正则模糊匹配时，必须添加`.*`。例如`^(http.*)$`，表示匹配以 http 开头的字符|\ | | | | ||\ | | | | |:::| ## 返回参数下表仅列出本接口特有的返回参数。更多信息请参见[返回结构](https://www.volcengine.com/docs/6470/112169)。 |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |RuleId |String |`fa************` |采集配置的 ID。 | ## 请求示例 1 ### 单行全文模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "minimalist_log", "ExtractRule": { "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 1 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 2 ### 多行全文模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "multiline_log", "ExtractRule": { "BeginRegex": "\\[([^]]+)].*", "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "[2018-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened\n at TestPrintStackTrace.f(TestPrintStackTrace.java:3)\n at TestPrintStackTrace.g(TestPrintStackTrace.java:7)\n at TestPrintStackTrace.main(TestPrintStackTrace.java:16)", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 2 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 3 ### 分隔符模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "delimiter_log", "ExtractRule": { "Delimiter": "&&", "Keys": [ "time", "ip", "status", "", "user-agent" ], "TimeKey": "time", "TimeFormat": "%d/%b/%Y %H:%M:%S", "FilterKeyRegex": [ { "Key": "status", "Regex": "200" } ], "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "05/May/2016 13:30:28&&10.200.36.139&&200&&18204&&sdk-go", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 3 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 4 ### JSON 模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "json_log", "ExtractRule": { "TimeKey": "time", "TimeFormat": "%d/%b/%Y %H:%M:%S", "FilterKeyRegex": [ { "Key": "status", "Regex": "200" } ], "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "05/May/2016 13:30:28&&10.200.36.139&&200&&18204&&sdk-go", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 4 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 5 ### 单行完整正则模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "fullregex_log", "ExtractRule": { "LogRegex": "([\\s\\S]+),\\s(\\S+),\\s(\\d+),\\s(\\d+),\\s(\\S+).*", "Keys": [ "time", "ip", "status", "size", "user-agent" ], "TimeKey": "time", "TimeFormat": "%d/%b/%Y %H:%M:%S", "FilterKeyRegex": [ { "Key": "status", "Regex": "200" } ], "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "05/May/2016 13:30:28, 10.200.36.139, 200, 18204, sdk-go", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 5 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 6 ### 多行完整正则示例 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "fullregex_log", "ExtractRule": { "LogRegex": "\\[([^]]+)]\\s\\[(\\w+)]\\s([\\S\\s]+).*", "BeginRegex": "\\[([^]]+)].*", "Keys": [ "time", "level", "message" ], "TimeKey": "time", "TimeFormat": "%Y-%b-dT%H:%M:%S,%f", "FilterKeyRegex": [ { "Key": "level", "Regex": ".*ERROR.*" } ], "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "[2018-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened\n at TestPrintStackTrace.f(TestPrintStackTrace.java:3)\n at TestPrintStackTrace.g(TestPrintStackTrace.java:7)\n at TestPrintStackTrace.main(TestPrintStackTrace.java:16)", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 6 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 7 ### Nginx 模式 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "fullregex_log", "ExtractRule": { "LogRegex": "(\\S*)\\s*-\\s*(\\S*)\\s*\\[(\\d+/\\S+/\\d+:\\d+:\\d+:\\d+)\\s+\\S+\\]\\s*\"(\\S+)\\s+(\\S+)\\s+(\\S+)\"\\s*(\\S*)\\s*(\\S*)\\s*(\\S*)\\s*(\\S*)\\s*\"([^\"]*)\"\\s*\"([^\"]*)\".*", "Keys": [ "remote_addr", "remote_user", "time_local", "request_method", "request_uri", "protocol", "request_time", "request_length", "status", "body_bytes_sent", "http_referer", "http_user_agent" ], "TimeKey": "request_time", "TimeFormat": "%d/%b/%Y:%H:%M:%S", "FilterKeyRegex": [ { "Key": "status", "Regex": "200" } ], "LogTemplate": { "Type": "Nginx", "Format": "format main '$remote_addr - $remote_user [$time_local] \"$request\" $request_time $request_length $status $body_bytes_sent \"$http_referer\" \"$http_user_agent\"';" }, "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "192.168.1.1 - - [24/Sep/2022:12:23:12 +0800] \"POST /abc.com.testfile HTTP/1.0\" 0.000 129 200 43912736 \"-\" \"Wget/1.11.4 Red Hat modified\"", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 7 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 8 ### 采集物理机日志此处以采集模式为单行全文为例。 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "minimalist_log", "ExtractRule": { "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } } } ``` ## 返回示例 8 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 9 ### 容器标准输出此处以采集模式为单行全文为例。 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "LogType": "minimalist_log", "ExtractRule": { "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } }, "InputType": 1, "ContainerRule": { "Stream": "all", "ContainerNameRegex": ".*test.*", "IncludeContainerLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludeContainerLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "IncludeContainerEnvRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludeContainerEnvRegex": { "Key1": "Value1", "Key2": "Value2" }, "EnvTag": { "Key1": "Value1", "Key2": "Value2" }, "KubernetesRule": { "NamespaceNameRegex": ".*test.*", "WorkloadType": "Deployment", "WorkloadNameRegex": ".*test.*", "IncludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "PodNameRegex": ".*test.*", "LabelTag": { "Key1": "Value1", "Key2": "Value2" } } } } ``` ## 返回示例 9 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 10 ### 容器文本日志此处以采集模式为单行全文为例。 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "minimalist_log", "ExtractRule": { "FilterKeyRegex": [ { "Key": "__content__", "Regex": ".*ERROR.*" } ] }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 } }, "InputType": 2, "ContainerRule": { "ContainerNameRegex": ".*test.*", "IncludeContainerLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludeContainerLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "IncludeContainerEnvRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludeContainerEnvRegex": { "Key1": "Value1", "Key2": "Value2" }, "EnvTag": { "Key1": "Value1", "Key2": "Value2" }, "KubernetesRule": { "NamespaceNameRegex": ".*test.*", "WorkloadType": "Deployment", "WorkloadNameRegex": ".*test.*", "IncludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "ExcludePodLabelRegex": { "Key1": "Value1", "Key2": "Value2" }, "PodNameRegex": ".*test.*", "LabelTag": { "Key1": "Value1", "Key2": "Value2" } } } } ``` ## 返回示例 10 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 请求示例 11 ### 启用插件采集此处以采集模式为单行全文为例。 ```json POST https://{tls-endpoint}/CreateRule HTTP/1.1 Content-Type: application/json { "TopicId": "706f****-****-****-****-****46aa1f07", "RuleName": "testname", "Paths": [ "/data/nginx/log/*/*/*.log" ], "ExcludePaths": [ { "Type": "File", "Value": "/data/nginx/log/*/*/exclude.log" }, { "Type": "Path", "Value": "/data/nginx/log/*/exclude/" } ], "LogType": "minimalist_log", "ExtractRule": { "TimeKey": "time", "TimeFormat": "%d/%b/%Y %H:%M:%S", "FilterKeyRegex": [ { "Key": "status", "Regex": "200" } ], "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed" }, "LogSample": "2018-05-22 15:35:53.850 INFO XXXX", "UserDefineRule": { "ParsePathRule": { "PathSample": "/data/nginx/log/dabaad5f-7a10/tls/app.log", "Regex": "\\/data\\/nginx\\/log\\/(\\w+)-(\\w+)\\/tls\\/app\\.log", "Keys": [ "instance-id", "pod-name" ] }, "ShardHashKey": { "HashKey": "3C" }, "EnableRawLog": true, "RawLogKey": "raw", "Fields": { "ClusterID": "dabaad5f-7a10-4771-b3ea-d821f73e****" }, "Advanced": { "CloseInactive": 10 }, "Plugin": { "processors": [ { "json": { "field": "__content__", "trim_keys": { "mode": "all", "chars": "#" }, "trim_values": { "mode": "all", "chars": "#" }, "allow_overwrite_keys": true, "allow_empty_values": true } } ] } } } ``` ## 返回示例 11 ```json HTTP/1.1 200 OK Content-Type: application/json; charset=utf-8 { "RuleId": "faf*************" } ``` ## 错误码下表为您列举了该接口与业务逻辑相关的错误码。公共错误码请参见[公共错误码](https://www.volcengine.com/docs/6470/112173)文档。 |**HTTP 状态码** |**错误码** |**错误信息** |**说明** | |---|---|---|---| |400 |InvalidArgument |Invalid argument key %s, value %s, please check argument |参数不合法。 | |400 |PathQuotaExceed |Path Quota Exceeded |超过采集路径限额。 | |400 |ExcludePathQuotaExceed |Exclude Path Quota Exceeded |超过采集黑名单限额。 | |400 |ExtractRuleKeyQuotaExceed |ExtractRule Key Quota Exceeded |超过提取规则的用户自定义的字段限额。 | |400 |ExtractRuleFilterKeyRegexQuotaExceed |ExtractRule FilterKeyRegex Quota Exceeded |超过提取规则的过滤规则限额。 | |409 |RuleAlreadyExist |Rule %s already exist |采集配置已存在。 | |500 |InternalServerError |We encountered an unexpected server error, please try again later. |服务器内部错误。 |