Snowflake Pipe处理删除记录时触发非空列NULL错误排查
Snowflake Pipe摄取DMS删除记录触发非空列NULL错误问题
已配置Snowflake Pipe摄取AWS DMS迁移任务生成的S3 Parquet文件,插入记录的文件可正常处理,但包含删除记录的文件会触发Snowflake错误:非空列出现NULL结果。
疑问:Snowflake Pipe是否不支持删除记录的摄取?我遗漏了什么配置?
目标表结构
Column | Type | Collation | Nullable | Default ------------+-----------------------------+-----------+----------+-------------------------------------- name | character varying | | not null | value | character varying | | not null | type | character varying | | not null | id | integer | | not null | nextval('constant_id_seq'::regclass) created_at | timestamp without time zone | | not null | updated_at | timestamp without time zone | | not null | Indexes: "constant_pkey" PRIMARY KEY, btree (id) "constant_name_key" UNIQUE CONSTRAINT, btree (name)
DMS生成的删除记录Parquet文件内容
| Op | name | value | type | id | created_at | updated_at |
|---|---|---|---|---|---|---|
| D | None | None | None | 16 | NaT | NaT |
既然是删除操作,Snowflake为何要求填充非空列?
更新情况
已设置REPLICA IDENTITY FULL,但在RDS中删除记录后,DMS迁移任务不再生成S3文件。
内容的提问来源于stack exchange,提问作者konkani
相关产品推荐
相关产品推荐

