You need to enable JavaScript to run this app.
导航

数据快车简介

最近更新时间2024.01.10 20:07:51

首次发布时间2024.01.10 20:07:51

数据快车服务(DES,Data Express Service)是一个用于将多源异构数据源和数据结构导入到 ByteHouse 的服务,通过提供数据集成、结构映射、高效导入、安全可靠等功能,帮助用户快速、准确地将各种类型的数据(如关系型数据库、日志文件、对象存储等)导入到ByteHouse中进行后续的处理和分析。

产品架构

数据快车基本产品功能架构如下图:
图片

功能简介

数据快车服务通常具有以下特点和功能:

  1. 多源数据集成:数据快车服务支持从多个不同的数据源中导入数据,包括关系型数据库(如MySQL、PostgreSQL、ClickHouse)、NoSQL数据库(如MongoDB)、实时流(Kafka)、对象存储(AWS S3、TOS、OSS)等。
  2. 数据结构映射和转换:数据快车服务能够处理不同数据源之间的数据结构差异,并提供自动的映射和转换功能。它将数据源的字段映射到ByteHouse中对应的表和列,执行数据类型转换、数据格式化等操作,以确保数据在导入过程中的一致性和准确性。
  3. 高效数据导入:数据快车服务通过优化数据导入的方式和过程,实现高效的数据传输和加载。它采用批量导入、并行导入、增量导入等策略,以最大限度地提高导入速度和吞吐量。
  4. 安全和可靠性:数据快车服务提供安全的数据传输和存储机制,确保数据的机密性和完整性。它还具备故障恢复和容错机制,能够处理导入过程中的错误和异常,并提供日志和监控功能,以便进行故障排查和性能优化。
  5. 可配置和可扩展:数据快车服务通常提供灵活的配置选项和可扩展性。用户可以根据具体需求配置导入规则、转换规则、导入频率等参数,以满足不同的数据导入场景和要求。

图片

使用流程

图片
数据快车使用流程如上图,您可以按下面的流程操作。

  1. 登录 ByteHouse 企业版控制台,单击右上角运维与权限管理 > 数据管理与查询按钮,进入数据管理界面。

图片

  1. 点击左侧“数据快车”按钮即可进入功能主页。

说明

首次使用时,需要对火山云资源进行授权。
您可参照提示确认授权,然后可正常使用数据快车功能。

  1. 进入数据快车服务后,您可以根据引导进入相应操作:
    1. 购买 DES 实例,参见 实例购买与管理
    2. 创建数据源,参见 数据源管理
    3. 创建任务,包括 CDC 同步任务和 流式加载任务等。