使用Microsoft Query从Vertica导入200万条记录致Excel崩溃，求可行方案

我之前帮团队处理过一模一样的问题——用Microsoft Query拉小表没问题，碰200万级的大表直接崩。下面是几个亲测有效的思路，按优先级排序：

• 先解决Excel的硬限制：分批次导入
  Excel单工作表最多只能装1048576行，200万条数据本来就塞不下，这是崩溃的核心原因之一。你可以在Vertica里写分段查询：

  • 用行号分段：

    SELECT col1, col2, col3  -- 只选需要的列，别用SELECT *
    FROM (
        SELECT *, ROW_NUMBER() OVER(ORDER BY your_unique_id) AS row_idx
        FROM your_large_table
    ) sub
    WHERE row_idx BETWEEN 1 AND 1000000;
    

    导入完第一部分，再把BETWEEN的范围改成1000001 AND 2000000，导入到新工作表就行。
  • 如果表有时间/分区键，直接按维度拆分（比如按月份、地区），查询逻辑更直观，还能避免全表扫描。

• 替换成Power Query（Get & Transform）
  Microsoft Query是个老工具，对大数据的内存优化极差，Power Query是微软专门用来处理大数据的替代方案，集成在Excel里（2016+自带，2013可装插件），稳定性提升不止一个档次：

  1. 点「数据」→「获取数据」→「从数据库」→「从ODBC」，选择你配置好的Vertica ODBC数据源
  2. 编写查询时记得过滤冗余数据（只留需要的列、加WHERE条件）
  3. 加载时选「仅创建连接」，再用Power Pivot来管理超大量数据——Power Pivot的行数限制远高于单工作表，还能做数据建模。

• 优化查询，从源头减少数据量
  别图省事用SELECT *，只挑你实际要用的列，这能砍掉一半以上的数据传输量。另外一定要加WHERE条件过滤掉不需要的记录，比如只取近3个月的数据、特定部门的记录，没必要把200万条全拉到Excel里。

• 调整ODBC和Excel的环境配置

  • 必须用64位Excel+64位Vertica ODBC驱动：32位Excel的内存上限只有4G左右，大数据很容易撑爆内存崩溃，64位能利用更多系统内存。
  • 打开Vertica ODBC驱动的配置面板，找到「批量处理」相关选项，比如调低批量读取的行数，开启流式传输，避免一次性把所有数据加载到内存。

• 曲线救国：先导出再导入
  如果上面的方法都走不通，直接在Vertica里用COPY命令把数据导出成CSV文件：

  COPY your_large_table (col1, col2, col3) TO '/path/to/your_data.csv' DELIMITER ',';
  

  然后用Excel的「数据」→「自CSV」导入，超过1048576行的话Excel会自动拆分到多个工作表，或者用Power Query导入后再按需拆分。

内容的提问来源于stack exchange，提问作者excelguy