官方Snowflake ODBC驱动向本地SQL Server传输结果集过慢求助

1. 配置Snowflake ODBC驱动的Fetch Size参数 #

Snowflake ODBC驱动支持调整Fetch Size，默认值偏小（通常1000行），会导致频繁网络往返拖慢速度。你可以通过两种方式设置：

• ODBC数据源管理器配置：打开对应位数的ODBC数据源管理器，找到你的Snowflake数据源，进入「配置」→「高级选项」，在「Additional Connection Parameters」中添加：FETCH_SIZE=100000（可根据服务器性能在50000-200000区间测试调整）
• 链接服务器连接字符串：如果用自定义连接字符串配置链接服务器，直接加入该参数：Driver={SnowflakeDSIIDriver};Server=xxx.snowflakecomputing.com;Warehouse=xxx;Database=xxx;Schema=xxx;Role=xxx;FETCH_SIZE=100000

2. 优化SQL Server链接服务器配置 #

• 调整远程查询相关参数：在SQL Server执行以下命令，提升批量传输能力：

  sp_configure 'remote query timeout', 0; -- 取消超时限制，按需调整
  RECONFIGURE;
  sp_configure 'max text repl size', 2147483647; -- 允许大文本数据传输
  RECONFIGURE;
  

• 修改链接服务器属性：在链接服务器属性中，将「RPC Out」设为True，「Use Remote Collation」设为True，减少数据转换开销。
• 替换EXECUTE AT为OPENQUERY：OPENQUERY会将查询推送到Snowflake端执行，更高效利用ODBC批量传输能力，示例：

  SELECT * FROM OPENQUERY(SNOWFLAKE_LINK, 'SELECT TOP 1000000 * FROM your_table');
  

3. 其他实用优化点 #

• 升级ODBC驱动版本：确保使用最新版Snowflake ODBC驱动，旧版本常存在性能瓶颈，官方会持续优化传输效率。
• **避免SELECT ***：仅拉取业务需要的字段，尤其是包含大字段（如VARCHAR(MAX)、BLOB）的表，冗余字段会显著拖慢传输速度。
• 分批次拉取数据：如果一次性拉取百万行仍慢，可按主键/时间字段拆分查询，示例：

  -- 按ID分批次拉取
  SELECT * FROM OPENQUERY(SNOWFLAKE_LINK, 'SELECT * FROM your_table WHERE ID BETWEEN 1 AND 250000');
  SELECT * FROM OPENQUERY(SNOWFLAKE_LINK, 'SELECT * FROM your_table WHERE ID BETWEEN 250001 AND 500000');
  

• 启用Snowflake结果缓存：重复查询时，默认开启的结果缓存会减少Snowflake端重复计算，但仅适用于查询语句相同且源数据未变更的场景。

内容的提问来源于stack exchange，提问作者ScOULaris