调用 DescribeImportTasks 接口查看数据导入任务列表。 ## 请求说明 * 请求方式：GET * 请求地址：https://{tls\-endpoint}/DescribeImportTasks ## 请求参数下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见[公共参数](https://www.volcengine.com/docs/6470/112170)。 ### Query |**参数** |**类型** |**是否必选** |**示例值** |**描述** | |---|---|---|---|---| |TaskId |String |否 |`"fa************"` |待查询的数据导入任务的 ID。 | |TaskName |String |否 |`"test-task"` |待查询的数据导入任务名称。 | |ProjectId |String |否 |`"fa************"` |指定日志项目 ID，用于查询指定日志项目下的数据导入任务。 | |ProjectName |String |否 |`"fa************"` |指定日志项目名称，用于查询指定日志项目下的数据导入任务。支持模糊查询。 | |IamProjectName |String |否 |`default` |指定 IAM 项目名称，用于查询指定 IAM 项目下的数据导入任务。 | |TopicId |String |否 |`"fa************"` |指定日志主题 ID，用于查询该日志主题相关的数据导入任务。 | |TopicName |String |否 |`"fa************"` |指定日志主题名称，用于查询该日志主题相关的数据导入任务。支持模糊查询。 | |PageNumber |Integer |否 |`1` |分页查询时的页码。默认为 1，即从第一页数据开始返回。 | |PageSize |Integer |否 |`10` |分页大小。默认为 20，最大为 100。 | |SourceType |String |否 |`"tos"` |指定导入类型，用于查询该导入类型相关的数据导入任务。|\ | | | | ||\ | | | | |* tos：导入 TOS 数据。|\ | | | | |* kafka：导入 Kafka 数据。 | |Status |String |否 |`"0"` |指定导入任务状态，用于查询处于该状态的数据导入任务。|\ | | | | ||\ | | | | |* 0：导入中。|\ | | | | |* 1：导入完成。|\ | | | | |* 2：导入异常。|\ | | | | |* 3：停止中。|\ | | | | |* 4：已停止。|\ | | | | |* 5：重启中。 | ## 返回参数下表仅列出本接口特有的返回参数。更多信息请参见[返回结构](https://www.volcengine.com/docs/6470/112169)。 |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |TaskInfo |Array of [TaskInfo](#taskinfo) |`/` |数据导入任务列表。 | |Total |Integer |`5` |数据导入任务数量。 | ### TaskInfo |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |TaskId |String |`fa************` |数据导入任务的 ID。 | |status |Integer |`0` |数据导入任务的状态。|\ | | | ||\ | | | |* 0：导入中。|\ | | | |* 1：导入完成。|\ | | | |* 2：导入异常。|\ | | | |* 3：停止中。|\ | | | |* 4：已停止。|\ | | | |* 5：重启中。 | |TopicId |String |`fa************` |用于存储数据的日志主题 ID。 | |TaskName |String |`task-name-1` |数据导入任务的名称。 | |ProjectId |String |`fc69****` |数据导入任务的日志项目 ID。 | |TopicName |String |`topic-name` |数据导入任务的日志主题名称。 | |CreateTime |String |`1970-1-1 00:00:00` |数据导入任务的创建时间。 | |SourceType |String |`tos` |导入源端类型。 | |TargetInfo |Object of [TargetInfo](#targetinfo) |`/` |数据导入任务的输出端信息。 | |Description |String |`this is a task` |数据导入任务描述。 | |ProjectName |String |`myproject` |数据导入任务的日志项目名称。 | |TaskStatistics |Object of [TaskStatistics](#taskstatistics) |`/` |数据导入任务的进度。 | |ImportSourceInfo |Object of [ImportSourceInfo](#importsourceinfo) |`/` |数据导入任务的导入源端信息。 | ### TargetInfo |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |Region |String |`cn-shanghai` |地域 ID。 | |LogType |String |`json_log` |导入时指定日志解析类型。|\ | | | ||\ | | | |* delimiter_log：CSV类型。|\ | | | |* multiline_log：多行全文类型。|\ | | | |* minimalist_log：单行全文类型。|\ | | | |* json_log：JSON 类型。 | |LogSample |String |`/` |日志样例。|\ | | | |`LogType` 为 `multiline_log` 时，该参数有效。 | |ExtractRule |Object of [ExtractRule](#extractrule) | |ExtractRule 导入提取规则。 | ### TaskStatistics |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |Total |Integer |`100` |已列举到的总资源个数。 | |Failed |Integer |`100` |导入失败的资源个数。 | |Skipped |Integer |`20` |跳过导入的资源个数。 | |NotExist |Integer |`10` |不存在的资源个数。 | |BytesTotal |Integer |`100` |已列举到的总资源字节数。 | |TaskStatus |String |`Success` |导入任务的状态。|\ | | | ||\ | | | |* Preparing：导入准备中。|\ | | | |* Importing：导入数据中。|\ | | | |* Success：成功导入完成。|\ | | | |* Failed：导入失败。|\ | | | |* Stopped：导入已暂停。 | |Transferred |Integer |`100` |已导入的资源个数。 | |BytesTransferred |Integer |`100` |已导入的字节数。 | ### ImportSourceInfo |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |TosSourceInfo |Object of [TosSourceInfo](#tossourceinfo) |`/` |TOS 导入源端信息。|\ | | | |当 `sourceType` 为 `tos` 时，`TosSourceInfo` 字段为必填。 | |KafkaSourceInfo |Object of [KafkaSourceInfo](#kafkasourceinfo) |`/` |Kafka 导入源端信息。|\ | | | |当 `sourceType` 为 `kafka` 时，`KafkaSourceInfo` 字段为必填。 | ### ExtractRule |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |Keys |Array of String |`[ "time", "", "level", "msg" ]` |日志字段名称（Key）列表。|\ | | | ||\ | | | |* 当且仅当 LogType 为 delimiter_log 时有效。|\ | | | |* 支持配置最多 100 个字段名称。|\ | | | |* 不能配置重复的字段名称，不能指定全部字段名称为空。 | |Quote |String |`"` |引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。 | |TimeKey |String |`request_time` |日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。|\ | | | |TimeKey 和 TimeFormat 必须成对出现。 | |TimeZone |String |`GMT+08:00` |时区，支持机器时区（默认）和自定义时区。其中，自定义时区支持 GMT 和 UTC。|\ | | | ||\ | | | |* GMT 格式：GMT+08：00。|\ | | | |* UTC 格式：Asia/Shanghai。 | |Delimiter |String |# |日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。 | |BeginRegex |String |`[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)` |用于识别每条日志中第一行的正则表达式，其匹配部分将作为日志的开头。设置 LogType 为 multiline_log 时，需要配置日志样例。 | |TimeFormat |String |`%Y-%m-%dT%H:%M:%S,%f` |时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。|\ | | | ||\ | | | |* TimeKey 和 TimeFormat 必须成对出现。|\ | | | |* 如何配置时间格式，请参考[时间格式](/docs/6470/111835)。 | |SkipLineCount |Integer |`2` |跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。|\ | | | |当且仅当采集的日志类型为 delimiter_log 且导入类型为 tos 时有效。 | |UnMatchLogKey |String |`LogParseFailed` |当上传解析失败的日志时，解析失败的日志的 key 名称。|\ | | | |UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。 | |TimeExtractRegex |String |`[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+` |提取时间的正则表达式，用于提取 `TimeKey` 字段中的时间值并解析为对应的采集时间。 | |UnMatchUpLoadSwitch |Boolean |`true` |是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。|\ | | | ||\ | | | |* true：上传解析失败的日志。|\ | | | |* false：不上传解析失败的日志。 | |TimeSample |String |`2006-01-02T15:04:05Z07:00` |时间样例。|\ | | | |用于判断填写的时间解析格式是否正确。 | ### TosSourceInfo |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |bucket |String |`import01` |日志文件所在的 TOS 存储桶。 | |prefix |String |`accesslog/` |待导入的文件在 TOS 存储桶中的路径。 | |region |String |`cn-shanghai` |TOS 存储桶所在的地域。支持跨地域导入数据。 | |compress_type |String |`snappy` |TOS 存储桶中数据的压缩模式。|\ | | | ||\ | | | |* none：无压缩。|\ | | | |* snappy：使用 snappy 进行压缩。|\ | | | |* gzip：使用 gzip 进行压缩。|\ | | | |* lz4：使用 lz4 进行压缩。|\ | | | |* tar.gz：使用 tar.gz 进行压缩。邀测功能，若有相关业务需求，可联系客户经理开通白名单。 | |import_archived |Boolean |false |导入 TOS 存储桶中的文件是否为归档或冷归档文件。|\ | | | ||\ | | | |* true：是归档、冷归档文件。|\ | | | |* false：不是归档、冷归档文件。 | ### KafkaSourceInfo |**参数** |**类型** |**示例值** |**描述** | |---|---|---|---| |host |String |`kafka-cnngc7an0qpv****.kafka.ivolces.com:9092` |不同类型的 Kafka 集群对应的服务地址不同，详细说明如下：|\ | | | ||\ | | | |* 火山引擎消息队列 Kafka 版：Kafka 实例的接入点，详细说明请参考[查看接入点](https://www.volcengine.com/docs/6439/122806)。|\ | | | | 如果 Kafka 实例与日志服务 Project 属于同一地域，可使用私网访问，否则需使用公网访问。|\ | | | |* 自建的 Kafka 集群：Kafka Broker 的 IP 地址和端口号或者域名和端口号。仅支持公网访问。|\ | | | ||\ | | | |多个服务地址之间需使用半角逗号（,）分隔。 | |group |String |`mygroup` |Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。 | |topic |String |`test` |Kafka Topic 名称。多个 Kafka Topic 之间应使用半角逗号（,）分隔。 | |encode |String |`UTF-8` |数据的编码格式。可选值包括 UTF\-8、GBK。 | |password |String |`/` |用于身份认证的 Kafka SASL 用户密码。 | |protocol |String |`plaintext` |安全传输协议，可选值包括 plaintext、sasl_ssl、ssl 和 sasl_plaintext。 | |username |String |`/` |用于身份认证的 Kafka SASL 用户名。 | |mechanism |String |`PLAIN` |密码认证机制，可选值包括 PLAIN、SCRAM\-SHA\-256 和 SCRAM\-SHA\-512。 | |instance_id |String |`kafka-cnngbnntswg1****` |当您使用的是火山引擎消息队列 Kafka 版时，应设置为 Kafka 实例 ID。 | |is_need_auth |Boolean |`true` |是否开启鉴权。如果您使用的是公网服务地址，建议开启鉴权。 | |initial_offset |Integer |`/` |数据导入的起始位置。可选值：|\ | | | ||\ | | | |* 0：最早时间，即从指定的 Kafka Topic 中的第一条数据开始导入。|\ | | | |* 1：最近时间，即从指定的 Kafka Topic 中最新生成的数据开始导入。 | |time_source_default |Integer |`/` |指定日志时间。可选值：|\ | | | ||\ | | | |* 0：使用 Kafka 消息时间戳。|\ | | | |* 1：使用系统当前时间。 | ## 请求示例 ```JSON GET https://{tls-endpoint}/DescribeImportTasks?&TaskId="fa************"&TaskName="test-task"&ProjectId="fa************"&ProjectName="fa************"&IamProjectName=default&TopicId="fa************"&TopicName="fa************"&PageNumber=1&PageSize=10&SourceType="tos"&Status="0" HTTP/1.1 Content-Type: application/json ``` ## 返回示例 ```JSON Content-Type: application/json; charset=utf-8 { "TaskInfo": [ { "TaskId": "841c3908-*****bdb4-2b77dd4d5a41", "TaskName": "import-example", "SourceType": "tos", "status": 1, "ImportSourceInfo": { "TosSourceInfo": { "region": "cn-shanghai", "bucket": "tos-import-logs", "prefix": "test/timeJson.txt", "compress_type": "none" } }, "TargetInfo": { "Region": "cn-shanghai", "LogType": "json_log", "ExtractRule": { "TimeKey": "__time__", "TimeFormat": "%F", "TimeZone": "Asia/Shanghai", "UnMatchUpLoadSwitch": true, "UnMatchLogKey": "LogParseFailed", "LogTemplate": {} }, "UserDefineRule": { "Plugin": {} }, "LogSample": "" }, "TopicId": "5123c4b3-00***5-a09ce05b0b88", "TopicName": "test", "TaskStatistics": { "TaskStatus": "Finished", "Transferred": 1, "Failed": 0, "Skipped": 0, "NotExist": 0, "Total": 1, "BytesTransferred": 657, "BytesTotal": 657 }, "Description": "", "CreateTime": "2024-08-27 17:37:07", "ProjectId": "a513edb9-45a****19f7f1a8962", "ProjectName": "test" } ], "Total": 1 } ``` ## 错误码您可访问[公共错误码](https://www.volcengine.com/docs/6470/112173)，获取更多错误码信息。