实时任务的开发已经能通过编写 SQL 的方式来完成,在技术层面能很好地继承离线数仓的架构设计思想;另一方面,在线数据开发平台所提供的功能对实时任务开发、调试、运维的支持也日渐趋于成熟,开发成本逐步降低,有助于... 实体名称可以根据数据仓库转换整合后做一定的业务抽象的名称,该名称应该准确表述实体所代表的业务含义- 样例:realtime_dwd_trip_trd_order_base---#### 3. DIM 层- 公共维度层,基于维度建模理念思想,建立整...
可以在任务失败之后完全恢复到最近一次 CheckPoint 的状态,用于实现 end to end 的 exactly once 语义。但在一些大型 Flink 任务中,有时候维护的 state 会非常重,导致每次 CheckPoint 都需要将百 GB 甚至 TB 量级的数据写入到磁盘中,任务性能被严重拖慢,且 CheckPoint 容易生成失败或超时。需要知道的是,开启 CheckPoint 并不一定能达成端到端的 exactly once 语义,这取决于下游的接收方是不是幂等的。如果不是,当任务失败重...
这种异步通信模式可以减少请求等待,能让服务异步并行处理,提高系统的吞吐量和响应时间。上图以支付会员红包系统交互过程为例,红包 Platform 通过 MQ 通知红包 Consumer 实现异步转账,同时有兜底 Task 查询转账所有未到终态领取单并通过 MQ 异步发送转账消息。 **解耦**其次通过使用消息队列,发送方和接收方可以解耦,彼此之间不直接通信。发送方只需将消息发送到队列中,而不需要关心消息的具体处理方式和接收方...
StarRocks 数据源,同步火山引擎 E-MapReduce(EMR)引擎中 StarRocks 集群数据库下的数据,为您提供通过离线、流式任务方式,读取和写入 StarRocks 的双向通道能力,实现不同数据源与 StarRocks 之间的进行数据传输。本文为您介绍 DataSail 中 StarRocks 数据源配置、可视化配置能力说明。 1 支持的版本支持采集 EMR-3.1.1 及以上 StarRocks 集群和 OLAP 服务中 1.1.0 及以上版本全托管 StarRocks 引擎中的数据。 2 使用前提子账号新建...
100个字符以内。 参数配置 主机名或IP地址 MySQL 数据库的主机名称或者 IP 地址。 端口 主机的端口号。 数据库名 输入已创建的 MySQL 数据库名称。 用户名 有权限访问数据库的用户名信息。 密码 输入用户名对应的密码信息。 4.2 新建任务MySQL 数据源测试连通性成功后,进入到数据开发界面,开始新建 MySQL 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。 4.3 可视化配置说明任务创建成功后,您可根据实...
100个字符以内。 参数配置 主机名或IP地址 Greenplum 数据库的主机名称或者 IP 地址。 端口 连接主机的端口号。 数据库名 输入已创建的 Greenplum 数据库名称。 用户名 有权限访问数据库的用户名信息。 密码 输入用户名对应的密码信息。 5.2 新建离线任务Greenplum 数据源测试连通性成功后,进入到数据开发界面,开始新建 Greenplum 相关通道任务。新建任务方式详见离线数据同步。 5.3 可视化配置说明任务创建成功后,您可根据实际场...
这种异步通信模式可以减少请求等待,能让服务异步并行处理,提高系统的吞吐量和响应时间。上图以支付会员红包系统交互过程为例,红包 Platform 通过 MQ 通知红包 Consumer 实现异步转账,同时有兜底 Task 查询转账所有未到终态领取单并通过 MQ 异步发送转账消息。 **解耦**其次通过使用消息队列,发送方和接收方可以解耦,彼此之间不直接通信。发送方只需将消息发送到队列中,而不需要关心消息的具体处理方式和接收方...
以下为您介绍用连接串方式配置 Oracle 数据源信息: 注意 Oracle 侧如果是白名单访问机制,则不同网络环境的连接串地址,需要添加不同的 IP 地址到数据库白名单中,确保集成资源组使用的 VPC 与 Oracle 网络能互通: 如果使用的是公网连接串访问,则需要给集成资源组添加公网 IP,并将公网 IP 地址加入到白名单中。 如果使用的是私网连接串访问,则需要将资源组 VPC 下的 IPv4 CIDR 地址加入到白名单中。 详见网络连通解决方案。 参数 ...
新建任务方式详见离线数据同步。 4.3 可视化配置说明任务创建成功后,您可根据实际场景,配置 ClickHouse 离线读或 ClickHouse 离线写等通道任务。 4.3.1 ClickHouse 离线读 数据来源选择 ClickHouse,并完成以下相关参数配置:其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。 参数 说明 *数据源类型 下拉选择 ClickHouse 数据源类型。 *数据源名称 已在数据源管理中注册成功的 ClickHouse 数据源,下拉可选。若...
100个字符以内。 参数配置 主机名或IP地址 SQLServer 数据库的主机名称或者 IP 地址。 端口 主机的端口号。 数据库名 输入已创建的 SQLServer 数据库名称。 用户名 有权限访问数据库的用户名信息。 密码 输入用户名对应的密码信息。 4.2 新建任务SQLServer 数据源测试连通性成功后,进入到数据开发界面,开始新建 SQLServer 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。 4.3 可视化配置说明任务创建成...
以参数名和参数值的形式填入。 4.2 新建任务PostgreSQL 数据源测试连通性成功后,进入到数据开发界面,开始新建 PostgreSQL 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。 4.3 可视化配置说明任务创建成功后,您可根据实际场景,配置PostgreSQL 批式读、PostgreSQL 批式写或 PostgreSQL 流式写等通道任务。 4.3.1 PostgreSQL 批式读 数据来源选择 PostgreSQL,并完成以下相关参数配置:其中参数名称前带 * 的为必填参...
getIdempotentIDjava public String com.bytedance.im.core.api.model.BIMMessageNewPropertyModify.getIdempotentID()获取幂等 ID。 返回值幂等 ID,用来做去重、取消等;业务方自定义,需确保唯一性,SDK内部仅透传。 setIdempotentIDjava public void com.bytedance.im.core.api.model.BIMMessageNewPropertyModify.setIdempotentID( String idempotentID)设置幂等 ID。 传入参数 参数名 类型 说明 idempotentID String 幂等...