如何用Presto导出500万行SQL查询结果至CSV？

当然可以导出全部500万行，1048576行的限制一般是你所用客户端工具的默认设置，并非Presto本身的限制。以下是几种可行的解决方案：

• 调整客户端工具的行限制
  如果你用的是DBeaver、DataGrip这类GUI工具，找到结果集的设置选项，把最大显示行数调高或者设为无限制。导出时一定要选择导出“全部行”，而不是仅导出当前显示的行。

• 用Presto CLI命令行直接导出
  这是处理大结果集最稳妥的方式，完全绕过GUI的限制。执行以下命令即可将查询结果直接输出到CSV文件：

  presto --server <你的Presto服务器地址> --catalog <目标catalog> --schema <目标schema> --execute "SELECT * FROM your_table WHERE your_condition;" --output-format CSV > full_data.csv
  

  如果查询耗时较长，可以通过--session query_max_run_time=3h参数调整超时时间，避免查询中途中断。

• 分批次导出后合并
  要是遇到内存或网络瓶颈，可以分页查询分批次导出，之后合并文件：

  1. 导出第一批次：SELECT * FROM your_table WHERE your_condition LIMIT 1000000 OFFSET 0;
  2. 导出第二批次：SELECT * FROM your_table WHERE your_condition LIMIT 1000000 OFFSET 1000000;
  3. 重复上述步骤直到导出全部数据，最后用命令行工具合并（比如cat part_*.csv > full_data.csv，注意手动跳过重复的表头行）。

• 通过Presto存储连接器写入外部存储
  如果你的Presto配置了Hive、S3这类存储连接器，可以直接将查询结果写入外部存储，再从那里获取CSV文件：

  CREATE TABLE hive.your_schema.exported_full_data
  WITH (format = 'CSV')
  AS SELECT * FROM your_table WHERE your_condition;
  

  执行完成后，直接去Hive对应的存储路径或者S3桶里取生成的CSV文件即可。

内容的提问来源于stack exchange，提问作者Chandana