创建数据加工任务

日志服务提供灵活便捷的数据加工功能，支持对采集到的日志数据进行清洗过滤、内容脱敏、数据分裂和数据分发。创建数据加工任务之后，日志服务会自动读取源日志主题的数据，根据指定的加工规则进行加工处理后，写入到不同的日志主题中。本文档介绍通过控制台创建数据加工任务的操作步骤。

前提条件

• 已采集到日志数据。操作步骤请参考快速入门。
• 不支持跨地域加工日志数据，即源日志主题和目标日志主题应位于同一个地域。
• 创建数据加工任务之前，请阅读数据加工概述，了解功能相关的说明与限制。

操作步骤

1. 登录日志服务控制台。

2. 在顶部导航栏中选择日志服务所在的地域。

3. 在左侧导航栏中选择日志服务 > 日志项目管理，并单击指定的日志项目名称。

4. 在左侧导航栏中选择数据处理 > 数据加工。

5. 单击创建数据加工任务。

6. 填写数据加工任务的基本配置。
   参考以下说明完成基本配置，并单击下一步：加工规则配置。

   参数	说明
   任务名称	数据加工任务的名称。
   描述	数据加工任务的简单描述。
   源日志主题	待进行数据加工的日志所在的日志主题。
   目标日志主题	输出目标的相关信息，即加工后的日志数据存储的日志主题。支持指定最多 20 个不同的日志主题，指定多个时表示将数据加工结果存储到多个日志主题中。每个输出目标均需要指定以下信息： 目标名称：自定义输出目标的名称，在数据加工规则中需要使用此名称指代输出目标。 日志项目：加工后的日志数据所在的日志项目。 日志主题：加工后的日志数据存储的日志主题。 说明 请根据源日志主题分区数量合理设置目标日志主题的日志分区数量，如果源日志写入流量较大，目标日志主题的分区数量较少时可能会影响数据加工的任务处理性能。 指定多个目标日志主题时，默认将数据加工结果写入到指定的第 1 个日志主题中；您也可以在编辑加工规则时，通过 e_output 函数将处理后的数据分发至不同的日志主题中。详细说明请参考 e_output 函数。
   加工时间范围	待加工数据的时间范围。 说明：此处的时间范围为日志数据保存在日志服务服务端的时间。 所有日志：加工指定日志主题中保存的全量数据，包括所有历史日志数据和持续写入的新数据。 从某时间开始：加工指定时间点之后采集到的数据，包括后续持续写入的新数据。若未指定时间点，表示加工所有日志。 指定时间范围：加工过去某个指定时间范围内的历史数据。 说明 时间范围为左闭右开区间。 若未指定开始时间，表示从最早一条日志开始加工；若未指定结束时间，表示持续加工写入的新数据。
   任务状态	是否立即启动数据加工任务。 默认为开启状态，即完成任务配置后立即启动数据加工任务。若未开启，完成配置后数据加工任务为已暂停状态，需要择机手动启动任务。 说明 数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行完成状态、并且确认不再使用的数据加工任务，减少无效消费组实例。

7. 填写数据加工任务的加工规则配置。

   1. 编写加工规则。
      根据页面提示在输入框内填写数据加工规则。日志服务支持多种 DSL 语法函数，您可以在加工函数页签中单击函数名称，查看语法的说明和示例，还可以一键插入指定语法，快速编写加工规则。支持的语法函数列表请参考函数列表。
   2. 测试加工规则。
      根据页面提示使用源日志主题中的日志数据或指定的测试数据进行测试。
      • 如果页面提示“DSL 代码编译检查不通过”，表示加工语句错误，您可以参考页面提示的错误信息，修复指定行中的语法问题，并再次测试加工规则。
      • 如果确认数据加工结果无误，单击完成任务创建。

相关操作

• 数据加工任务开始运行后，日志服务会在服务日志中记录数据加工任务的执行状态与进度等数据，您可以在对应的日志主题中查看并分析相关日志数据。详细说明请参考服务日志字段。
• 成功创建数据加工任务之后，您可以根据业务需求修改或删除数据加工任务，详细说明请参考管理数据加工任务。
• 建议为目标日志主题开启索引，便于检索分析处理后的数据。操作步骤请参考配置索引。