如何从Teradata导出超100亿行大表，兼顾速度与资源消耗

首先明确：你提到的几个认知误区是绝大多数Teradata老用户升级到新版本后都会遇到的，所谓“nospoolonly能力失效、FastExport必须全量写spool”不是功能被砍，是触发无spool直读的规则从原来的强制参数变成了新版的会话判定逻辑，不需要额外的特殊权限就能实现低spool占用、高速度的导出，具体方案按优先级排序如下：

第一优先级：触发原生无spool直读导出路径（速度最快、资源占用最低） #

这就是替代早期版本nospoolonly模式的官方正式能力，不存在功能失效的问题，只要满足触发条件即可生效：

• 在导出会话启动前添加会话级参数标记，替代原来的强制开关：执行SET QUERY_BAND = 'FastExportDirectRead=On;' FOR SESSION; 新版Teradata优化器会识别这个标记，对匹配条件的导出查询生成直读执行计划
• 严格匹配直读的查询要求：查询本身为无关联、无聚合、无排序、无列函数计算的纯表扫描逻辑，不要在查询层加额外的全表扫过滤条件，列清单明确写出需要的字段，不要直接用select *增加不必要的IO
• 配套调整FastExport（新版TPT工具）的会话并发数，让单会话对应单个AMP的读通道即可，不需要额外拉高并发打满节点资源

这个路径下，数据会直接从每个AMP的本地磁盘通过网络流推送到客户端，不会在Teradata节点的spool空间落地临时结果，spool占用仅为元数据级别的开销（通常不到目标表大小的2%），导出速度可以打满节点的磁盘和网络带宽，比普通走spool的导出模式快30%-50%，完全不需要为100亿行的表预留几十T的spool配额。

第二优先级：分区分段并行导出（适配无法触发直读的场景） #

如果目标表存在二级索引、非对齐范围分区，无法触发上面的直读路径，就不要做整表单查询导出，改用分段拆分的逻辑规避整表spool占用：

• 按照目标表的主分区定义，把100亿行的表拆分为多个独立的导出任务，每个任务的查询范围仅匹配单个分区内的1000万-5000万行量级数据
• 借助TPT工具的批处理框架，同时并行跑5-10个分段导出任务，总吞吐和单线程整表导出无差异，但spool峰值消耗仅为整表直导的10%不到——因为单分区查询的扫描范围有限，优化器会自动为单分区小范围查询生成低spool的执行计划，根本不会把整表数据复制到spool
• 这种方案的容错性也更好：单分段任务失败只需要重跑对应分区，不需要整表重导

其他相关方案的实际表现说明 #

• JDBC驱动、通用PT API导出高spool占用的本质，不是底层实现和FastExport有差异，是这类通用连接默认被优化器判定为交互式查询会话，不会触发直读逻辑，哪怕写完全一样的全表select语句，也会走全量spool落地的执行计划，性能和资源消耗表现远不如配置正确的TPT/FastExport直读会话
• 不推荐使用BTEQ、通用SQL客户端导出这类超大规模表：这类工具的会话路径固定走交互式查询逻辑，一定会把全量结果写入spool，100亿行量级的表根本无法支撑对应配额要求

内容的提问来源于stack exchange，提问作者chicken-rice