数据加工概述

日志服务提供灵活便捷的数据加工功能，支持对采集到的日志数据进行清洗过滤、内容脱敏、数据分裂和数据分发。本文档介绍数据加工的原理与能力、限制等信息。

功能概述

在大数据、流式计算等场景下，往往需要将各类日志处理为结构化的数据，例如对格式混乱的日志进行字段内容提取、格式转化等日志内容规整操作，或需要将日志分发到多个数据处理下游系统进行存储或计算，供不同的业务系统使用。日志服务提供实时的数据加工服务，对日志数据进行清洗过滤、内容脱敏、数据分裂和数据分发。创建数据加工任务之后，日志服务会创建一个消费组用于提取源日志主题中的日志数据，并按照指定的加工规则和指定的 DSL（Domain Specific Language） 加工函数对这些日志数据进行逐条加工处理，完成加工后，将处理后的数据写入指定的日志主题，用于后续的日志统计分析、数据转储等。
数据加工功能提供多个 DSL 内置加工函数，支持多种复杂场景的数据结构化与清洗、脱敏等需求。目前支持的加工语法请参考语法简介。
此外，日志服务提供数据加工的服务日志，用于查看数据加工任务的进度和运行速率等信息。详细说明请参考服务日志。

应用场景

数据加工功能支持以下多种场景的数据处理能力：

• 结构化处理：对于日志采集时无法进行结构化处理的日志数据，可以先采集到服务端，再通过数据加工功能进行复杂的结构化处理，例如字段提取、格式转换等，便于后续的 SQL 统计与分析。适用于流处理、数据仓库计算等场景。
• 清洗过滤：对复杂多样的日志数据进行统一过滤，只保留需要重点关注的核心信息。过滤前的日志数据可以设置较短的数据保留时长，减少日志存储量、降低成本。
• 内容脱敏：对日志中包含的敏感信息进行脱敏处理，例如业务日志中的手机号、身份证号、密码等信息。
• 数据分裂与分发：经过统一的日志加工，将一条日志拆分为多条数据，分别输出到不同的下游系统。

费用说明

数据加工服务涉及到日志服务的数据加工费用，详细的定价及计费方式请参考日志服务计费项。

注意事项

• 并发单元数据负载：并发单元的数据负载会影响数据加工的性能。
  在数据加工过程中，加工任务的单个并发单元数据负载，取决于其所对应的源日志主题分区中存储的数据量大小。如果在源日志主题中写入日志数据时，数据流量在多个分区之间分布不均衡，会造成数据加工任务运行时出现一些热点单元，从而导致部分分区的加工处理进度延迟。
  如果源日志主题中的日志数据通过 HashKey 路由 Shard 模式写入，建议在写入时合理分配分区的写入流量，尽可能减少数据在分区中的不均衡分布。关于数据写入的详细信息请参考 PutLogs。
• 日志服务会将加工后的数据通过 API 接口 PutLogs 写入目标日志主题。数据写入的速率与目标日志主题的分区数量有关。
  将处理结果写入目标日志主题时，需要满足日志主题的数据写入规格限制。如果目标日志主题的分区数较少，写入数据量较大，可能导致加工延迟。建议根据写入目标日志主题的数据量评估目标日志主题的分区数或打开目标日志主题的 Shard 自动分裂功能。具体请参考基础资源和数据读写，关于打开 Shard 自动分裂请参见分裂Shard。
  数据加工在遇到目标日志主题写入限制错误时会执行无限次重试，以保证数据完整，但是加工作业进度会因此受影响，导致负责当前源 Shard 的加工处理延迟。

使用限制

基本概念