使用Cloud Data Fusion迁移CloudSQL PostgreSQL至BigQuery时遇查询错误

问题原因 #

哪怕你把拆分数量设为1，Cloud Data Fusion的JDBC源组件（针对PostgreSQL）在使用自定义查询时，依然会校验查询语句中是否包含$CONDITIONS占位符——这是组件底层的并行拆分逻辑校验，和实际拆分数量无关。

两种解决办法 #

• 修改自定义查询，添加$CONDITIONS
  把你的查询改成：

  SELECT * FROM parameters $CONDITIONS;
  

  当拆分数量为1时，系统会自动把$CONDITIONS替换为空内容，不会影响最终查询结果，同时能通过校验。

• 改用直接指定表名的模式
  如果你只是要导出全表数据，没必要写自定义查询。直接在数据源配置里选择“表名”模式，输入parameters即可。系统会自动生成包含$CONDITIONS的查询语句，适配拆分配置，还能避免手动写SQL的麻烦。

内容的提问来源于stack exchange，提问作者Ahmad Coachendo