私有Data Fusion实例无法写入私有CloudSQL实例问题咨询

针对你遇到的Data Fusion管道写入CloudSQL Postgres时的Schema验证失败问题，可从以下几个方向排查：

1. 驱动与运行环境兼容性 #

虽然连接测试显示正常，但预览模式和部署运行的环境存在差异：

• 预览模式依赖Data Fusion控制平面环境，而部署后管道实际运行在Dataproc集群上。CloudSQL-Postgres JDBC驱动在Dataproc集群中的版本、依赖配置可能与控制平面不兼容，导致无法正确读取表结构完成验证。
• 建议尝试换回官方指南中的常规Postgres JDBC驱动，重新配置连接后测试部署。

2. 表名/Schema的引号转义问题 #

错误信息中出现public.&quot;<table_name>&quot;，说明表名被异常转义，可能导致Postgres无法识别目标表：

• 检查Data Fusion接收器配置里的表名输入格式，避免多余引号；Postgres默认对小写表名不区分大小写，若表名含大写或特殊字符，需确保配置中的表名与数据库中完全一致（包括引号的使用规则）。

3. Dataproc集群的网络与权限 #

即使已配置防火墙规则，仍需确认：

• Dataproc集群节点能否正常访问CloudSQL Proxy VM：检查VPC路由是否正确指向Proxy，以及Proxy VM的防火墙是否允许Dataproc子网的流量（如5432端口）。
• Dataproc使用的服务账号是否拥有CloudSQL的cloudsql.client角色，同时具备目标Postgres数据库表的SELECT、INSERT权限（Schema验证环节需要读取表结构，因此必须有表的查询权限）。

4. Schema验证的深层不匹配 #

即使全量设为string仍报错，可能存在以下情况：

• CSV文件中存在隐藏特殊字符、空值或格式异常，预览时仅读取部分数据未触发问题，但部署时全量数据写入导致Schema验证失败。
• 检查Postgres目标表的列约束（如非空、长度限制），Data Fusion写入时可能违反这些约束，被Schema验证环节拦截。

内容的提问来源于stack exchange，提问作者Sholly