postgresql与大数据
社区干货
「火山引擎」数据中台产品双月刊 VOL.04
**火山引擎数据中台产品双月刊**涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。## **产品迭代一览**### **大数据研发治理套件** **DataLeap**- **【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从 LAS to...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04
四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。双月更新,您可通过关注「字节跳动数据平台」官网公众号、添加小助手微信加入社群获取产品动态~**接下来让我们来看看 1-2 月数据中台产品有什么大事件吧~**## **产品迭代一览**### **大数据研发治理套件** **DataLeap**- **【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从 LAS to Pos...
「火山引擎」数据中台产品双月刊 VOL.05
数据开发:支持临时查询功能,新增 EMR Doris SQL 查询类型,EMR MapReduce 任务类型,基于 EMR 引擎提供 MapReduce 任务- 数据集成:新增 PostgreSQL、Mongo 数据源,新增 PostgreSQL_Hive、Las_PostgreSQL、Mongo_Hive 通道任务- 数据地图:新增 EMR Doris 元数据采集,并对 ByteHouse CDW 元数据采集进行标准化改造。支持字段探查,LAS 表编辑时不允许字段名和历史重复,支持检索新增的数据类型 EMR Doris。支持 EMR Doris 和...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.04
四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。双月更新,您可通过关注「字节跳动数据平台」官网公众号、添加小助手微信加入社群获取产品动态~**接下来让我们来看看 1-2 月数据中台产品有什么大事件吧~**## **产品迭代一览**### **大数据研发治理套件** **DataLeap**- **【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从 LAS to Pos...
特惠活动
postgresql与大数据-优选内容
postgresql与大数据-相关内容
PostgreSQL 开发运维最佳实践
# 前言这篇文章旨在提供 RDS for PostgreSQL 的一些开发和运维建议,以助您提升数据库使用的标准化和稳定性。# 性能与稳定性* 慎用子事务,避免事务中使用过多的子事务。* 游标使用后及时关闭。* 对于在线业务,建议使用 CREATE INDEX CONCURRENTLY 方法创建索引,以避免阻塞其他会话在目标索引表上的 DML 操作。* 对于重建索引操作,在 PostgreSQL 12 及以上大版本,推荐使用 REINDEX CONCURRENTLY。PostgreSQL 11 及下大版本,...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.05
数据开发:支持临时查询功能,新增 EMR Doris SQL 查询类型,EMR MapReduce 任务类型,基于 EMR 引擎提供 MapReduce 任务- 数据集成:新增 PostgreSQL、Mongo 数据源,新增 PostgreSQL_Hive、Las_PostgreSQL、Mongo_Hive 通道任务- 数据地图:新增 EMR Doris 元数据采集,并对 ByteHouse CDW 元数据采集进行标准化改造。支持字段探查,LAS 表编辑时不允许字段名和历史重复,支持检索新增的数据类型 EMR Doris。支持 EMR Doris 和...
同步至火山引擎版 PostgreSQL
可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全量数据初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据同步的性能和同步任务的稳定性,云数据库 PostgreSQL 的 TRIGGER、RULE、FOREIGN KEY、SEQUENCE 等会在增量同步结束后才进行同步。 在数据同步的过程中,若遇到目标库中已存在同主键...
使用限制(源库为 PostgreSQL)
PostgreSQL 火山引擎 ECS 自建 PostgreSQL 公网自建 PostgreSQL 专有网络 PostgreSQL PostgreSQL 10 PostgreSQL 11 PostgreSQL 12 结构迁移 全量迁移 增量迁移 使用限制类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。 待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标库中出现重复数据。 建议单任务表数量不超过 2 万,库数量不超过 50。如果有大批量表需要...
迁移至火山引擎版 PostgreSQL
可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全量数据迁移会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量迁移完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据迁移的性能和迁移任务的稳定性,云数据库 PostgreSQL 的 TRIGGER、RULE、FOREIGN KEY、SEQUENCE 等会在增量迁移结束后才进行迁移。 在数据迁移的过程中,若遇到目标库中已存在同主键值或...
同步至火山引擎 ECS 自建 PostgreSQL
目前仅支持迁移主库的数据,暂不支持从库数据的同步。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。 由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据初始化的性能和同步任务的稳定性,云数据库 PostgreSQL 的 TRIGGER、RULE、FOREIGN KEY、SEQUENCE 等会在增量同步结束后才进行同步。 在...
配置 PostgreSQL 数据源
PostgreSQL 是一种常用的关系型数据库,数据集成同步任务为您提供读取和写入 PostgreSQL 数据源的双向通道能力。本文为您介绍 DataSail 的 PostgreSQL 数据源配置、同步任务可视化和脚本模式(DSL)配置能力,实现与不同数据源的数据互通能力。 1 支持的 PostgreSQL 版本离线读写目前支持读写的 PostgreSQL 可选版本为 PostgreSQL 10、11、12、13、14。您可以在数据库中执行以下语句,查看 PostgreSQL 数据库的版本:sql show server_v...
同步至火山引擎 ECS 自建 PostgreSQL
本文介绍如何在数据库传输服务 DTS 控制台创建专有网络 PostgreSQL 同步至火山引擎 ECS 自建 PostgreSQL 任务。 前提条件按需设置源端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作,请参见配置专线连接。 ...
同步至公网自建 PostgreSQL
本文介绍如何在数据库传输服务 DTS 控制台创建专有网络 PostgreSQL 同步至公网自建 PostgreSQL 任务。 前提条件按需设置目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作,请参见配置专线连接。 已在公网...
