日志服务支持 TOS 数据导入功能，支持将 TOS 中存储的数据进行结构化，并保存在日志服务中。本文档介绍从 TOS 中导入数据到日志服务的操作步骤。 ## 背景信息在海量日志文件批量导入场景中，您可以将日志文件上传至对象存储 TOS 的桶中，并通过日志服务的日志导入功能将其结构化、导入并保存在日志服务中，实现日志数据的实时查询分析、二次加工处理。从 TOS 中导入数据时，支持将指定 Bucket 中的一个或多个对象中的数据全量导入到日志服务中，支持跨地域导入，即日志服务日志主题和数据源 Bucket 可以位于不同地域。创建导入任务后还可以在日志服务控制台中查看导入进度及状态信息，或通过服务日志分析查看进度和状态的详细数据。此外，日志服务还会为导入的日志数据添加以下元数据字段。 |字段 |说明 | |---|---| |`__content__` |原始日志数据。仅在**日志提取类型**为**单行全文**时添加。 | |`__path__` |日志的源文件目录与文件名。 | |`__source__` |日志源所属存储桶的名称。 | ## 注意事项从 TOS 导入数据功能的限制项如下： |限制 |说明 | |---|---| |导入性能 |TOS 数据导入任务支持的最大处理速度为 80 MB/s。如果您需要提升任务处理速度，请通过工单系统沟通业务需求。 | |数据导入配置数量 |单个日志项目中，最多可创建 100 个不同类型的数据导入配置。 | |单个文件大小 |不同压缩模式下，文件大小限制不同。超过限制的文件不会被导入到日志服务中。|\ | ||\ | |* Snappy 压缩格式（非 Framing\-format 格式）：文件大小限制为 350MiB。|\ | |* 其他压缩格式或未压缩：文件大小限制为 5GiB。 | |单条数据大小 |单条日志最大长度为 512KiB，超出的日志会被截断丢弃；如果单条日志长度超过 2MiB，该条日志会被直接丢弃。 | |导入数据范围 |仅支持全量导入，不支持增量导入。|\ | ||\ | |* 创建导入任务之后，即使桶中增加了符合导入规则的文件，日志服务也不会采集该增量内容。|\ | |* 如果某文件有内容更新，且该文件尚未被采集，日志服务会采集变更后的文件版本。 | |桶类型 |不支持低频存储类型的存储桶数据导入。 | |修改导入任务 |创建日志导入任务后，不可修改任务的数据源配置等。如果配置错误，请删除配置后重新创建。 | ## 费用说明从 TOS 导入数据涉及日志服务和对象存储的读流量、写流量等计费项。具体的价格信息请参考日志服务[计费项](/docs/6470/105179)和对象存储[计费概述](../6349/78455)。 |收费侧 |计费项 |说明 | |---|---|---| |对象存储 |私网流出流量 |从 TOS 读取数据时走火山引擎私网，会产生私网流出流量。 | |^^|请求次数 |从 TOS 读取数据时，根据不同存储类型的请求次数进行计费。 | |日志服务 |写流量 |TOS 数据写入到日志服务中，在日志服务中涉及写流量费用。流量费用根据压缩后的数据量进行计费。 | |^^|日志存储 |日志保存到日志服务后，后端会自动对其进行压缩，存储费用以压缩后的实际大小为准。 | |^^|其他 |* 推荐为已导入的数据开启索引，便于后续的查询分析与数据统计。开启索引后会产生索引存储费用。按照压缩前的日志数据被建立的索引所占用的存储空间计费。|\ | | |* 已导入的数据如果后续产生数据读取、数据加工、数据投递等操作，则按照计费标准进行收费。 | ## 前提条件 * 已上传日志文件到 TOS 存储桶中。具体操作步骤请参考[上传日志](../6349/75039)。 * 已创建日志项目和日志主题。具体操作步骤请参考[创建资源](/docs/6470/112663)。 * 首次使用日志导入或日志投递功能之前，需要完成云资源访问授权，即授予日志服务产品访问并写入资源的权限。如果尚未授权，日志服务会在控制台创建日志导入任务时引导您进行操作，推荐使用火山引擎主账号进行授权，相关说明请参考[跨服务访问授权](/docs/6470/155604)。 ## 操作步骤 ### 步骤一选择日志空间 1. 登录[日志服务控制台](https://console.volcengine.com/tls)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志接入**。 4. 在**数据导入**页签下，单击**火山引擎对象存储TOS**。 5. 选择日志空间。 |配置 |说明 | |---|---| |日志项目 |用于存储 TOS 数据的日志项目名称。 | |日志主题 |用于存储 TOS 数据的日志主题名称。|\ | |:::tip|\ | |云产品日志、服务日志等日志的专属日志主题不支持导入数据。|\ | ||\ | |:::| 6. 单击**下一步：配置导入规则**。 ### 步骤二配置导入规则 1. 填写**任务名称**。设置日志导入任务的名称。 2. 配置数据源。 |配置 |说明 | |---|---| |存储桶所在地域 |TOS 存储桶所在的地域。支持跨地域导入数据。 | |桶所属IAM项目 |TOS 存储桶所属 IAM 项目。 | |存储桶 |日志文件所在的 TOS 存储桶。 | |选择文件路径 |待导入的文件在 TOS 存储桶中的路径。|\ | ||\ | |* **选择文件路径**：在下拉列表中直接选择路径或文件。|\ | |* **手动输入路径**：输入文件前缀或文件完整路径。例如指定文件前缀为 `accesslog/`，表示导入目录 `accesslog/` 下的所有文件。|\ | ||\ | |:::tip|\ | ||\ | |* 文件前缀不支持通配符。|\ | |* 路径设置为空时表示导入该存储桶中的全部文件。如果存储桶中文件较多，遍历存储桶可能导致数据导入的效率低。|\ | ||\ | |:::| |压缩模式 |TOS 存储桶中数据的压缩模式，日志服务支持导入以下压缩模式的数据。|\ | |压缩模式：无压缩、snappy、gzip、lz4\*\*。\*\*|\ | |:::tip|\ | |设置为 lz4 前，应确认数据源使用 LZ4Frame 压缩，否则可能导致导入时解压失败。|\ | ||\ | |:::| 3. 配置导入方式。 |配置 |说明 | |---|---| |日志提取类型 |日志服务解析日志的方式，支持设置为**单行全文**、**JSON** 或 **CSV**。|\ | ||\ | |* **单行全文**：单行日志以`\n`作为一条日志的结束符。导入后，日志存放在默认字段 `__content__` 中，日志数据本身不再进行结构化处理。|\ | |* **多行全文**：导入多行日志时，支持指定首行正则表达式，用于匹配多行日志的第一行。|\ | |* **JSON：** 按照 JSON 格式将日志提取为多个 key\-value 的键值对。Object 首层的键（Key）作为字段名称，Object 首层的值（Value）作为字段值，`\n` 作为一条日志的结束符。日志属性的时间项由日志采集的时间决定。|\ | |* **CSV**：采集时以`\n`作为一条日志的结束符，每条日志数据可以根据指定的分隔符将整条日志进行结构化处理。日志属性的时间项由日志采集的时间决定。此时需要额外填写其他参数，详细说明请参考下表。 | |上传解析失败日志 |是否上传解析失败的日志，默认为开启状态。|\ | ||\ | |* 开启：所有解析失败的日志，均以指定字段作为键名称（Key），原始日志内容作为值（Value）上传到日志服务。其中键名称可以通过**失败日志键名称**指定，默认为 `LogParseFailed`。|\ | |* 关闭：解析失败的日志不上传到日志服务。|\ | ||\ | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_dc04c4cb154f542cf78d1836737ff45b.png =432x) | |时间字段 |是否使用指定字段的值作为日志时间。默认情况下，日志服务采用数据导入时的系统时间作为日志时间。您也可以指定时间字段，日志服务会使用该字段值作为日志时间。相关配置如下：|\ | ||\ | |* **时间键名称**：时间字段的 Key。|\ | |* **时间正则**：当您选择**日志提取类型**为**单行全文**或**多行全文**时，必须使用正则表达式提取日志中的时间。当您选择**日志提取类型**为 **CSV** 或 **JSON** 且需提取时间字段中的部分内容时，也可以使用正则表达式进行提取。|\ | |* **时间转换格式**：时间的转换格式，用于解析时间字段的值。时间格式说明请参考[时间格式](/docs/6470/111835)，例如时间字段值为 `1651648409`，则可配置**时间转换格式**为 `%s`；时间字段值为 `1651648416882`，则可配置**时间转换格式**为 `%F`；时间字段值为 `2022-01-01T15:30:00.999+0800`，则可配置**时间转换格式**为 `%Y-%m-%dT%H:%M:%S.%f%z`。|\ | |* **时区**：设置时区。支持选择 GMT 或 UTC 。|\ | | :::tip|\ | | 如果要支持夏令时或冬令时，请选择 UTC；否则，请选择 GMT。|\ | ||\ | | :::| * **日志提取类型**设置为**多行全文**时，还需要额外设置以下参数： |参数 |说明 | |---|---| |日志样例 |建议填写 2 条以上的日志数据作为示例，确保首行正则表达式可以匹配到每条日志的第一行。|\ | |建议使用生产环境的真实样例。 | |首行正则表达式 |用于识别每条日志中第一行的正则表达式，其匹配部分将作为日志的开头。支持自动生成或手动输入。设置后，页面会显示日志样例中匹配到的首行数量，如果和真实日志条目相同，表示首行正则表达式正确。|\ | ||\ | |* 自动生成：根据已输入的日志样例自动生成首行正则表达式，样例中高亮显示的部分表示首行正则表达式匹配的内容。|\ | |* 手动输入：自定义首行正则表达式。日志服务根据指定的首行正则表达式去匹配日志样例，将匹配到的部分作为一条日志的开头。 | * **日志提取类型**设置为 **CSV** 时，还需要额外设置以下参数： |参数 |说明 | |---|---| |分隔符 |日志数据中，不同字段之间的分隔符。根据日志格式选择正确的分隔符，确保每个字段都能被准确提取。日志服务支持配置多种常见的分隔符，例如空格、逗号等。|\ | |当您的日志数据所采用的分隔符不在选项中时，您可以设置**分隔符**为**自定义**，并在**自定义分隔符**中填写对应的分隔符。|\ | |:::tip|\ | ||\ | |* 暂不支持设置**分隔符**为不可见字符。|\ | |* 只能指定一个分隔符，但分隔符中可以包含多个字符，例如双冒号（::）。|\ | ||\ | |:::| |引用符 |如果日志字段值中包含分隔符，则需要在日志中使用指定的引用符包裹整个字段值，否则日志内容将会被分隔符误拆分。指定分隔符和引用符之后，被引用符中包裹的内容会被日志服务解析为一个完整的字段。|\ | |例如原始日志为 `20220511 debug "parse meet error"`，分隔符为空格。则：|\ | ||\ | |* 如果未设置引用符，日志会被分割为 `key1: 20220511`、`key2: debug`、`key3: "parse`、`key4: meet、key5: error"`。|\ | |* 如果设置**引用符**为**双引号**，日志会被分割为 `key1: 20220511`、`key2: debug`、`key3: "parse meet error"`。|\ | ||\ | |引用符支持设置为**不配置**、**半角单引号**、**半角双引号**或**自定义字符**。如果选择自定义字符，则需要设置**自定义引用符**。|\ | |:::tip|\ | ||\ | |* 暂不支持设置**引用符**为不可见字符。|\ | |* 如果某些字段值中包含引用符，可以使用转义符`\`对此字符进行转义，转义后的引用符会被视为普通文本内容。例如引用符为双引号，但是日志内容 `2022"0511"` 中包含双引号，可以使用`2022\"0511\"`进行转义。|\ | |* 只能指定一个引用符，但引用符中可以包含多个字符，例如双冒号（::）。|\ | ||\ | |:::| |字段名称 |日志服务根据指定的分隔符解析并提取日志内容后，您需要为各个日志内容指定不同的字段名。支持如下两种配置方式：|\ | ||\ | |* **首行作为字段名称**：使用 CSV 文件的第一行作为字段名。一般情况下，CSV 文件的第一行为各个数据列的标题行。|\ | |* **自定义字段**：自定义设置字段名称，使用半角逗号（,）分隔多个字段名称。|\ | | :::tip|\ | | * 字段名称不可重复。|\ | | * 未指定字段名称的内容，不会被导入到日志服务中。|\ | ||\ | | :::| |跳过行数 |设置跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。 | 4. 单击**执行预览**，预览待导入的文件内容。配置导入规则后，日志服务提供指定数据源的数据预览功能，您可以查看预览区域中的数据是否与待导入的数据相同。如果数据不同，表示数据源配置不正确，建议重新设置。 5. 单击**下一步：检查索引配置**。 ### 步骤三检查索引配置 1. 检查索引配置。根据页面提示，按需设置或更新索引，您也可以单击**导入已有索引配置**，导入其他日志主题的索引。 * 若此日志主题未设置索引，可以参考[配置索引](/docs/6470/1206703)进行设置。 * 若此日志主题已设置索引，可以根据采集规则中解析的日志字段判断是否需要更新索引。 :::tip * 启用索引后，您才能检索分析采集到的日志数据。 * 更新后的索引设置仅对后续写入的新数据生效。其他检索分析的使用说明及限制请参考[检索概述](/docs/6470/1206701)和[分析概述](/docs/6470/1206702)。 ::: 2. 单击**完成：检查索引配置**。 ## 错误处理机制 |错误项 |处理机制 | |---|---| |读取文件失败 |读取文件时，如果遇到文件不完整（例如由网络异常、文件损坏等导致），导入任务会自动重试，重试3次后仍然读取失败，将跳过该文件。 | |文件过大 |读取文件时，如果单文件超过 5GB，导入任务将直接跳过该文件。 | |压缩格式解析错误 |解压文件时，如果遇到文件压缩格式无效，或压缩类型选择错误等，导入任务将直接跳过该文件。 | |数据解析错误 |数据解析错误时，所有解析失败的日志，均以指定字段作为键名称（Key），原始日志内容作为值（Value）上传到日志服务。|\ | |其中键名称可以通过**失败日志键名称**指定，默认为 `LogParseFailed`。 | |TOS 存储桶不存在 |当导入任务中指定的 TOS 存储桶不存在时，导入任务会失败。 | ## 相关操作成功创建 TOS 数据导入任务之后，您可以在日志服务控制台中查看相关信息，包括导入配置的配置详情及数据导入的进度数据。 ### 查看配置详情 1. 登录[日志服务控制台](https://console.volcengine.com/tls)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志接入**。 4. 在**数据导入**页签中的**任务列表**区域，单击日志导入任务名称。 5. 在**配置详情**页签中，查看任务的配置信息。 **您**可查看导入任务的基本信息、数据源配置及日志提取模式。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/1cdb86d62a1a465689e739b9d2703879~tplv-goo7wpa0wc-image.image =558x) ### 查看导入进度 **导入任务信息**页签中展示导入任务的状态及进度信息，详细说明如下： |展示项 |说明 | |---|---| |导入任务状态 |当前导入任务的状态，详细状态说明请参考下表。 | |导入进度 |当前任务的导入进度，计算方式为`导入进度=（已导入资源数量+跳过资源数量+失败资源数量+不存在资源数量）/ 总资源数量`。 | |总资源个数 |日志服务检测到的 TOS 存储桶中符合过导入规则的文件数量。 | |已导入资源个数 |日志服务已导入的文件数量。 | |已列举到资源大小 |日志服务检测到的 TOS 存储桶中符合过导入规则的文件大小，单位为 GiB。 | |已导入的资源大小 |日志服务已导入的文件大小，单位为 GiB。 | |不存在资源个数 |因导入过程中文件删除等原因，导致日志服务未能查找到的文件数量。 | |跳过导入资源个数 |因资源类型不匹配、文件无法解压或读取等问题，日志服务直接跳过、未导入的文件数量。 | |失败资源个数 |日志服务导入失败的文件数量。 | 导入任务状态说明如下： |状态 |说明 | |---|---| |导入中 |导入任务执行中。您可以通过**导入进度**判断当前的任务执行进度。 | |导入完成 |导入任务已执行完毕。符合导入规则的所有可导入文件已被成功导入到日志服务的指定日志主题中。 | |导入异常 |导入任务异常。任一文件导入失败都会导致整个任务的异常状态，例如文件解压方式错误、数据异常等原因引起的文件导入失败。建议处理异常问题之后，重新导入问题文件。|\ | |此外，您可以通过服务日志查看问题文件的详细信息，日志字段请参考 [TOS 数据导入错误日志](/docs/6470/155596#tos-%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5%E9%94%99%E8%AF%AF%E6%97%A5%E5%BF%97)。 | ### 复制导入任务日志服务支持复制数据导入任务。当存在相似的数据导入任务时，可直接复制已有任务的所有配置，然后按需修改对应配置生成新的数据导入任务。 1. 登录[日志服务控制台](https://console.volcengine.com/tls)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志接入**。 4. 在**数据导入**页签中的**任务列表**区域，单击待复制任务**操作**列的**复制**。 5. 参考创建导入任务时的步骤确认或修改对应参数配置。 ### 删除导入任务如果数据导入任务遇到了故障或异常，您可以删除故障的导入任务，重新导入数据。如果已完成存量日志数据的迁移，或者不再需要导入日志到火山引擎日志服务，您可以参考以下步骤删除日志导入任务。 :::tip * 删除日志导入任务不影响已成功导入的日志数据。 * 删除日志导入任务之后不可恢复，请谨慎操作。 ::: 1. 登录[日志服务控制台](https://console.volcengine.com/tls)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志接入**。 4. 在**数据导入**页签中的**任务列表**区域，找到需要删除的日志导入任务，然后在其对应的**操作**列单击**删除**。 5. 在弹出对话框中确认待删除的任务信息，然后单击**确定**。