Teradata FastLoad性能优化：如何提升单批次插入数据量？

FastLoad的单批次插入量受核心参数、表结构、系统资源等多方面限制，你之前调整没效果大概率是没触达关键配置，下面是几个针对性的可行方案：

1. 调整FastLoad核心控制参数 #

• 调大PACKET_SIZE和MAX_SESSIONS：默认的数据包大小和会话数会卡吞吐量。把PACKET_SIZE设到最大值65535，同时根据Teradata节点的CPU/内存情况，把MAX_SESSIONS提到8-16之间（别超系统负载）。脚本里这么加：

  SET SESSION PACKET_SIZE 65535;
  LOGON td_db/your_user,your_pwd;
  SET MAX_SESSIONS 12;
  

• 修改CHECKPOINT和ERRLIMIT：默认检查点间隔太近会强制拆批次，把CHECKPOINT行数改成500000，ERRLIMIT设个合理值（比如100）避免小错误就终止加载。示例：

  SET CHECKPOINT 500000;
  SET ERRLIMIT 100;
  

2. 优化目标表结构 #

• 先清掉不必要的索引和约束：二级索引、外键这些东西，FastLoad加载时要同步维护，不仅拖速度还会逼着拆分批次。加载前先删二级索引、禁用外键，加载完再重建、启用就行。
• 检查主键索引（PI）设计：如果PI是低基数列，数据会分布不均，FastLoad为了均衡分布会自动拆批次。换成高基数列当PI，避免数据倾斜。

3. 数据源与网络优化 #

• 合并数据源文件：如果是从本地文件加载，别搞一堆小文件，合并成1个或少数几个大文件。FastLoad对连续大文件的处理效率高，更容易撑大单批次量。
• 排查网络带宽：如果数据源在远程，看看是不是网络带宽不够。FastLoad服务器和Teradata集群之间至少要10Gbps带宽，不然网络延迟会逼着拆批次。

4. 系统层面配置检查 #

• 确认集群MAX_LOAD_SESSIONS参数：Teradata集群本身有MAX_LOAD_SESSIONS限制，客户端调大MAX_SESSIONS没用，得让DBA查这个参数，不够的话申请调大。
• 检查磁盘IO性能：Teradata节点磁盘IO饱和的话，加载速度上不去，批次也没法变大。查节点的磁盘读写吞吐量，要是IO满了，得优化存储配置。

提醒 #

• 所有调整先在测试环境试，别直接碰生产。
• 单批次不是越大越好，太大的话出问题回滚时间会很长，平衡好速度和风险就行。

内容的提问来源于stack exchange，提问作者anonymous