使用Matillion向Snowflake加载数据时LOB大小超限问题求助

一、Matillion组件层面的调整 #

• 替换为批量加载组件：Database Query组件依赖JDBC单条写入，默认受16MB的LOB限制。改用Matillion的Snowflake Bulk Load组件（基于Snowflake的COPY INTO机制），该组件支持批量加载大尺寸半结构化数据，无单字段16MB的限制，更适合处理大JSON场景。
• 调整JDBC连接参数：若必须使用Database Query组件，可在Matillion的Snowflake连接配置中添加JDBC参数：LOB_MAX_SIZE=<字节数>（例如LOB_MAX_SIZE=33554432对应32MB），增大JDBC驱动处理LOB的上限。操作路径：Matillion → 项目设置 → 连接 → 编辑Snowflake连接 → 高级选项 → 添加自定义JDBC参数。

二、Snowflake端的限制说明与调整 #

• Variant列的硬限制：Snowflake的Variant类型单个值最大支持16MB，这是产品级硬限制，无法通过数据库/表级参数调整。若你的JSON单值超过16MB，需先拆分JSON为多个符合大小要求的子对象，再写入Variant列；或考虑将大JSON存储在外部存储（如S3），通过Snowflake的外部阶段关联读取，而非直接写入Variant列。
• 会话级参数辅助优化：确保会话的COMPRESSION参数设置为AUTO（默认值），压缩可减少JSON的传输大小，可能间接避免LOB超限问题。可在Matillion的SQL组件中执行：

  ALTER SESSION SET COMPRESSION = AUTO;
  

内容的提问来源于stack exchange，提问作者Sreekanth Mohan