从 TOS 导入日志

日志服务支持 TOS 数据导入功能，支持将 TOS 中存储的数据进行结构化，并保存在日志服务中。本文档介绍从 TOS 中导入数据到日志服务的操作步骤。

背景信息

在海量日志文件批量导入场景中，您可以将日志文件上传至对象存储 TOS 的桶中，并通过日志服务的日志导入功能将其结构化、导入并保存在日志服务中，实现日志数据的实时查询分析、二次加工处理。从 TOS 中导入数据时，支持将指定 Bucket 中的一个或多个对象中的数据全量导入到日志服务中，支持跨地域导入，即日志服务日志主题和数据源 Bucket 可以位于不同地域。创建导入任务后还可以在日志服务控制台中查看导入进度及状态信息，或通过服务日志分析查看进度和状态的详细数据。
此外，日志服务还会为导入的日志数据添加以下元数据字段。

注意事项

从 TOS 导入数据功能的限制项如下：

费用说明

从 TOS 导入数据涉及日志服务和对象存储的读流量、写流量等计费项。具体的价格信息请参考日志服务计费项和对象存储计费概述。

前提条件

• 已上传日志文件到 TOS 存储桶中。具体操作步骤请参考上传日志。
• 已创建日志项目和日志主题。具体操作步骤请参考创建资源。
• 首次使用日志导入或日志投递功能之前，需要完成云资源访问授权，即授予日志服务产品访问并写入资源的权限。如果尚未授权，日志服务会在控制台创建日志导入任务时引导您进行操作，推荐使用火山引擎主账号进行授权，相关说明请参考跨服务访问授权。

创建导入任务

步骤一 选择日志空间

1. 登录日志服务控制台。

2. 在顶部导航栏中选择日志服务所在的地域。

3. 在左侧导航栏中选择日志服务 > 日志项目管理，并单击指定的日志项目名称。

4. 在左侧导航栏中单击日志接入。

5. 在数据导入页签下单击火山引擎对象存储TOS。

6. 选择日志空间。

   配置	说明
   日志项目	用于存储 TOS 数据的日志项目名称。
   日志主题名称	用于存储 TOS 数据的日志主题名称。 说明 云产品日志、服务日志等日志的专属日志主题不支持导入数据。

7. 单击下一步：配置导入规则。

步骤二 配置导入规则

1. 填写任务名称。

   配置	说明
   任务名称	日志导入任务的名称。

2. 配置数据源。

   配置	说明
   存储桶所在地域	TOS 存储桶所在的地域。支持跨地域导入数据。
   存储桶	日志文件所在的 TOS 存储桶。
   选择文件路径	待导入的文件在 TOS 存储桶中的路径。 选择文件路径：在下拉列表中直接选择路径或文件。 手动输入路径：输入文件前缀或文件完整路径。例如指定文件前缀为 accesslog/，表示导入目录 accesslog/ 下的所有文件。 说明 文件前缀不支持通配符。 路径设置为空时表示导入该存储桶中的全部文件。如果存储桶中文件较多，遍历存储桶可能导致数据导入的效率低。
   压缩模式	TOS 存储桶中数据的压缩模式，日志服务支持导入以下压缩模式的数据。 无压缩 snappy gzip lz4 说明 设置为 lz4 前，应确认数据源使用 LZ4Frame 压缩，否则可能导致导入时解压失败。

3. 配置导入方式。

   配置	说明
   日志提取类型	日志服务解析日志字段的方式，支持设置为单行全文、JSON 或 CSV。 单行全文：采集时以\n作为一条日志的结束符，每条日志存在一个默认的键值 __content__，日志数据本身不再进行结构化处理，日志属性的时间项由日志采集的时间决定。 JSON： 按照 JSON 格式将日志提取为多个 key-value 的键值对。Object 首层的键（Key）作为字段名称，Object 首层的值（Value）作为字段值，\n 作为一条日志的结束符。日志属性的时间项由日志采集的时间决定。 CSV：采集时以\n作为一条日志的结束符，每条日志数据可以根据指定的分隔符将整条日志进行结构化处理。日志属性的时间项由日志采集的时间决定。 此时需要额外填写其他参数，详细说明请参考下表。
   上传解析失败日志	是否上传解析失败的日志，默认为开启状态。 开启：所有解析失败的日志，均以指定字段作为键名称（Key），原始日志内容作为值（Value）上传到日志服务。此时需要指定失败日志键名称，用于存放解析失败的日志。 关闭：解析失败的日志不上传到日志服务。
   指定时间字段	是否使用指定字段的值作为日志时间。默认情况下，日志服务采用数据导入时的系统时间作为日志时间。您也可以打开指定时间字段开关，并指定日志中表示时间的字段，日志服务会使用该字段值作为日志时间。相关配置如下： 时间键名称：时间字段的 Key。 时间正则：当您选择日志提取类型为单行全文时，必须使用正则表达式提取日志中的时间。当您选择日志提取类型为 CSV 或 JSON 且需提取时间字段中的部分内容时，也可以使用正则表达式进行提取。 时间转换格式：时间的转换格式，用于解析时间字段的值。时间格式说明请参考时间格式，例如时间字段值为 1651648409，则可配置时间转换格式为 %s；时间字段值为 1651648416882，则可配置时间转换格式为 %F；时间字段值为 2022-01-01T15:30:00.999+0800，则可配置时间转换格式为 %Y-%m-%dT%H:%M:%S.%f%z。 时区：设置时区。支持选择 GMT 或 UTC 。 说明 如果要支持夏令时或冬令时，请选择 UTC；否则，请选择 GMT。

   日志提取类型设置为 CSV 时，还需要额外设置以下参数：

   参数	说明
   分隔符	日志数据中，不同字段之间的分隔符。根据日志格式选择正确的分隔符，确保每个字段都能被准确提取。日志服务支持配置多种常见的分隔符，例如空格、逗号等。 当您的日志数据所采用的分隔符不在选项中时，您可以设置分隔符为自定义，并在自定义分隔符中填写对应的分隔符。 说明 暂不支持设置分隔符为不可见字符。 只能指定一个分隔符，但分隔符中可以包含多个字符，例如双冒号（::）。
   引用符	如果日志字段值中包含分隔符，则需要在日志中使用指定的引用符包裹整个字段值，否则日志内容将会被分隔符误拆分。指定分隔符和引用符之后，被引用符中包裹的内容会被日志服务解析为一个完整的字段。 例如原始日志为 20220511 debug "parse meet error"，分隔符为空格。则： 如果未设置引用符，日志会被分割为 key1: 20220511、key2: debug、key3: "parse、key4: meet、key5: error"。 如果设置引用符为双引号，日志会被分割为 key1: 20220511、key2: debug、key3: "parse meet error"。 引用符支持设置为不配置、半角单引号、半角双引号或自定义字符。如果选择自定义字符，则需要设置自定义引用符。 说明 暂不支持设置引用符为不可见字符。 如果某些字段值中包含引用符，可以使用转义符\对此字符进行转义，转义后的引用符会被视为普通文本内容。例如引用符为双引号，但是日志内容 2022"0511" 中包含双引号，可以使用2022\"0511\"进行转义。 只能指定一个引用符，但引用符中可以包含多个字符，例如双冒号（::）。
   字段名称	日志服务根据指定的分隔符解析并提取日志内容后，您需要为各个日志内容指定不同的字段名。支持如下两种配置方式： 首行作为字段名称：使用 CSV 文件的第一行作为字段名。 一般情况下，CSV 文件的第一行为各个数据列的标题行。 自定义字段：自定义设置字段名称，使用半角逗号（,）分隔多个字段名称。 说明 字段名称不可重复。 未指定字段名称的内容，不会被导入到日志服务中。
   跳过行数	设置跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。

4. 单击执行预览，预览待导入的文件内容。
   配置导入规则后，日志服务提供指定数据源的数据预览功能，您可以查看预览区域中的数据是否与待导入的数据相同。如果数据不同，表示数据源配置不正确，建议重新设置。

5. 单击下一步：检查索引配置。

步骤三 检查索引配置

1. 检查索引配置。
   根据页面提示，按需设置或更新索引，您也可以单击导入已有索引配置，导入其他日志主题的索引。
   • 若此日志主题未设置索引，可以参考配置索引进行设置。
   • 若此日志主题已设置索引，可以根据采集规则中解析的日志字段判断是否需要更新索引。

   说明

   • 启用索引后，您才能检索分析采集到的日志数据。
   • 更新后的索引设置仅对后续写入的新数据生效。其他检索分析的使用说明及限制请参考检索概述和分析概述。
2. 单击完成：检查索引配置。

查看导入任务

成功创建 TOS 数据导入任务之后，您可以在日志服务控制台中查看相关信息，包括导入配置的配置详情及数据导入的进度数据。

查看配置详情

1. 登录日志服务控制台。
2. 在顶部导航栏中选择日志服务所在的地域。
3. 在左侧导航栏中选择日志服务 > 日志项目管理，并单击指定的日志项目名称。
4. 在左侧导航栏中单击日志接入。
5. 在数据导入页签中的任务列表区域，单击日志导入任务名称。
6. 在配置详情页签中，查看任务的配置信息。
   您可查看导入任务的基本信息、数据源配置及日志提取模式。
   

查看导入进度

导入任务信息页签中展示导入任务的状态及进度信息，详细说明如下：

导入任务状态说明如下：

删除导入任务

如果数据导入任务遇到了故障或异常，您可以删除故障的导入任务，重新导入数据。如果已完成存量日志数据的迁移，或者不再需要导入日志到火山引擎日志服务，您可以参考以下步骤删除日志导入任务。

1. 登录日志服务控制台。
2. 在顶部导航栏中选择日志服务所在的地域。
3. 在左侧导航栏中选择日志服务 > 日志项目管理，并单击指定的日志项目名称。
4. 在左侧导航栏中单击日志接入。
5. 在数据导入页签中的任务列表区域找到需要删除的日志导入任务，并在其对应的操作列单击删除。
6. 在弹出对话框中确认待删除的任务信息，并单击确定。