# 前言在逻辑复制过程中,如果在复制过程中出现任何冲突,如主键冲突,逻辑复制都会停止。这时候需要我们手动去解决。# 问题分析修复冲入的方法共有两种:1. 在订阅端手动找到冲突的数据并删除,然后重新让订阅继续。2. 在订阅端调用 pg_replication_origin_advance 函数,跳过有冲突的事务。# 问题复现````undefinedrudonx=# select * from pgbench_tellers; tid | bid | tbalance | filler ...
**接下来让我们来看看 1-2 月数据中台产品有什么大事件吧~**## **产品迭代一览**### **大数据研发治理套件** **DataLeap**- **【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从... 允许用户自定义函数,精简 SQL 语句,提升查询效率。 - 支持 MaterializedMySQL(灰度中)支持从 MySQL 数据源中实时同步数据。 - ByteHouse Python Driver 支持 SQL alchemy,加速数据 ETL 过程,让数据查询...
**接下来让我们来看看 1-2 月数据中台产品有什么大事件吧~**## **产品迭代一览**### **大数据研发治理套件** **DataLeap**- **【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从... 允许用户自定义函数,精简 SQL 语句,提升查询效率。 - 支持 MaterializedMySQL(灰度中)支持从 MySQL 数据源中实时同步数据。 - ByteHouse Python Driver 支持 SQL alchemy,加速数据 ETL 过程,让数据查询...
数据集成任务新增 PostgreSQL 数据源,支持从 LAS to PostgreSQL 的集成同步。 - 新增 MongoDB 数据源,支持 Mongo to EMR hive 通道作业。 - 扩充 PG 数据同步能力,支持 PostgreSQL to EMR hiv... 允许用户自定义函数,精简 SQL 语句,提升查询效率。 - 支持 MaterializedMySQL(灰度中)支持从 MySQL 数据源中实时同步数据。 - ByteHouse Python Driver 支持 SQL alchemy,加速数据 ETL 过程,让数据查询...
请参见搭建云上VPC与云下多数据中心网络互通。 在需要使用专线实现数据同步时,您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作,请参见配置专线连接。 已创建云数据库 PostgreSQL 版实例... 函数或存储过程等,不会被同步至目标库。 目前仅支持迁移主库的数据,暂不支持从库数据的同步。 由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源...
如果自建 PostgreSQL 进行重启或者主备切换,将会导致同步任务失败。在同步时如果源库执行了重启操作,同步任务会暂时中断并自动尝试修复。如果任务长时间没恢复,请提交工单联系技术支持。 目前仅支持迁移主库的数据... 函数或存储过程等,不会被同步至目标库。 在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(PostgreSQL)。 由于全量初始化会并发执行 INSERT...
pg_stat_kcache 是一款对 PostgreSQL 在运行过程中对文件系统读写信息进行统计的插件。 实现原理pg_stat_kcache 是在查询执行前后,分别调用 Linux 接口 getrusage 获取进程相关资源信息,最后计算前后差值,即为当前查询所使用的资源信息。 说明 pg_stat_kcache 相关函数和视图定义,依赖于 pg_stat_statements 插件。在使用前,需要更改 shared_preload_libraries 参数,将 pg_stat_statements 和 pg_stat_kcache 加入到该参数的运行...
前提条件已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在火山引擎版 ECS 自建 PostgreSQL 中自行搭建实例、数据库和账号。 源端的数据库实例的接入方式选择... 函数或存储过程等,不会被迁移至目标库。 若暂时不需要启动迁移任务,您可以在完成迁移对象配置后,单击页面右下角的保存。保存后会跳转回迁移任务列表页,此时任务状态为待启动,您可以在合适的时候再配置迁移任务。配...
您还可以根据预检查项中的说明,来检查源库和目标库中各迁移对象做相应准备。更多详情,请参见预检查项(PostgreSQL)。 注意事项当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 为实时保障数据的一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。 迁移对象选择的粒度为库或表。若迁移对象选择的是表,则其他对象例如视图、触发器、函数或存储过程等,不会被迁移至目标库。 若暂时不需...
已创建云数据库 PostgreSQL 版实例、数据库和账号。详细操作,请参见创建实例、创建数据库和账号。 已在公网环境中自行搭建 PostgreSQL 实例和数据库。 源端的数据库实例的接入方式选择的是公网自建时,且数据库... 函数或存储过程等,不会被同步至目标库。 若暂时不需要启动同步任务,您可以在完成同步对象配置后,单击页面右下角的保存。保存后会跳转回同步任务列表页,此时任务状态为待启动,您可以在合适的时候再配置同步任务。配...
PostgreSQL 进行重启或者主备切换,将会导致迁移任务失败。在迁移时如果源库执行了重启操作,迁移任务会暂时中断并自动尝试修复。如果任务长时间没恢复,请提交工单联系技术支持。 当未勾选增量迁移时,数据迁移期间请勿在源库实例中写入新的数据,以确保数据的一致性。 为实时保障数据的一致性,建议选择结构迁移、全量迁移和增量迁移。 迁移对象选择的粒度为库或表。若迁移对象选择的是表,则其他对象例如视图、触发器、函数或存储...
PostgreSQL 任务。 前提条件按需设置源端、目标端信息,具体如下所示: 在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。 ... 函数或存储过程等,不会被同步至目标库。 由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据同步的性能和同步任务...
在需要使用专线实现数据同步时,您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作,请参见配置专线连接。 已创建火山引擎版 ECS 自建 PostgreSQL 实例、数据库和账号。 源端的数据库实例... 函数或存储过程等,不会被同步至目标库。 由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。 为保证数据同步的性能和同步任务...