为了满足日常的数据接入和开发诉求,企业知识引擎提供了数据接入模块来帮助数据开发人员进行数据处理工作,包括数据集、数据连接、数据处理等功能。
数据接入和开发工作,主要有以下几个步骤:
步骤 | 能力介绍 | 该模块必须完成的基础工作 | 参考图 |
|---|---|---|---|
第一步:原始数据接入 | 系统提供40+种数据连接方式,方便企业将数据接入系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、飞书表格、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、企业微信、巨量引擎等数据源。 | 需完成:将所需数据通过【数据接入】模块接入系统。 | |
第二步:数据清洗和处理 | 原始数据接入系统后无法直接使用,需要进行数据源编辑与数据的清洗。 | 需完成:处理数据源。 |
|
第三步:输出数据集 | 数据集是由一张或多张表组成的数据模型,是创建标签、分群、洞察的基础,在应用数据前,需要将数据连接对接的源数据信息,通过可视化建模功能输出为数据集。 | 需完成:输出所需数据集。 |