创建 TOS Sink Connector 任务

本文档介绍创建 TOS Sink Connector 任务的操作步骤，成功创建任务后，Kafka Topic 中的消息将根据指定的聚合规则同步到对象存储 TOS 的存储桶中。

前提条件

• 已创建消息队列 Kafka版实例，且实例状态为运行中。
• 已为指定实例开通了 Connector 服务。详细信息请参考开通Kafka Connector服务。
• 已在指定实例的相同地域创建了对象存储 TOS 的存储桶。详细信息请参考创建存储桶。

背景信息

消息队列 Kafka版提供的 Connector 服务支持 TOS Sink Connector，可以创建消息队列 Kafka版为数据源、对象存储 TOS 为目的地端的数据导出任务，将 Kakfa Topic 中的数据导出到对象存储 TOS 中进行持久化存储或离线计算。TOS Sink Connector 支持批量导出 Topic 中的消息，同时支持指定导出的起始位置。

操作步骤

1. 登录消息队列 Kafka版控制台。

2. 在顶部菜单栏中选择地域，并在左侧导航栏中单击Connector任务。

3. 在实例下拉列表中选择需要指定实例。

4. 单击创建Connector任务。

5. 填写任务的基本信息，并单击下一步。

   配置	说明
   任务名称	Connector 任务的名称。需满足以下规则： 不能以数字、连字符（-）开头。 长度范围为 1~128 个字符。 只能包含中文、字母、数字、下划线（_）和连字符（-）。
   任务类型	任务的类型。此处请指定为数据流出。
   目标类型	目标端的类型。此处请指定为消息队列 Kafka版 → 对象存储。
   描述	任务的简单描述信息，200 个字符以内。

6. 填写任务的数据源配置，并单击下一步。

   配置	说明
   数据源	无需设置，默认为消息队列 Kafka版。
   数据源实例	无需设置，请确认实例名称是否正确。
   Topic	需要导出消息的 Kafka Topic，可以指定为： 全部Topic：导出指定实例中所有 Kafka Topic 中的消息，包括后续创建的新Topic。 自定义Topic：导出指定实例中指定 Topic 中的消息，支持选择 1~5 个 Topic。 说明 成功创建 Connector 任务后，请勿删除指定 Topic，否则会造成 Connector 任务运行失败或数据异常。
   起始位置	从指定的起始位置开始导出 Topic 中的消息，可指定为： 从最新位置开始：从指定 Topic 的最新一条消息开始导出。 从头开始：从 Topic 中最早一条消息开始导出。 从自定义时间开始：从指定时间对应的消息开始导出。

7. 填写任务的数据目标配置。

   配置	说明
   数据目标	默认为对象存储。
   目标存储桶	数据流出的目标存储桶。 说明 成功创建 Connector 任务后，请勿删除该存储桶，否则会造成 Connector 任务运行异常。
   目录	数据在目标存储桶中的所在目录。如果指定的目录不存在，Kafka 写入数据时会自动为您创建此目录。
   聚合方式	数据聚合的方式，即任务的触发规则。支持的聚合方式包括以下两种，可同时设置。 每 1~24 小时聚合一次。 每 10~5000MiB 聚合一次。 创建 TOS Sink Connector 任务后，消息队列 Kafka版会根据指定的聚合方式，分别打包指定 Kafka Topic 中每个分区的数据，并发送至指定的存储桶目录中。如果同时选择两种聚合方式，则持续记录距离上次聚合的数据量和时间间隔，满足任一聚合规则随即触发数据的聚合和传输。
   数据格式	数据存储在存储桶中的文件格式，支持设置为 JSON 或 CSV 格式。
   Base64编码	是否开启 Base64 编码。默认为开启状态。 若 Kafka 客户端以 Bytes 类型写入数据，建议开启 Base64 编码，否则会导致对象存储文件内容显示为乱码。 若 Kafka 客户端以 String 类型写入数据，则无需开启 Base64 编码。

8. 单击确定。

后续操作

成功创建 TOS Sink Connector 任务后，您可以在任务的详情页面查看 Connector 任务的详细信息，包括相关的配置、同步进度等，详细信息请参考查看同步进度。
创建 Connector 任务不支持修改配置信息，但可以暂停或启动任务、重试状态错误的任务、删除任务等等，详细信息请参考管理 Connector 任务。