跨两个记录系统关联150万账户的高效PySpark策略咨询

问题背景 #

需要构建PySpark管道从两个Teradata系统提取特定账户的交易数据：

• SOR-A（Teradata）：存储约150万目标账户ID
• SOR-B（Teradata）：存储数十亿条交易数据
  要求仅提取SOR-A中存在的账户的交易数据，最终加载到SQL Server，且无法跨库关联。

现有方案分析 #

• 方案1：将账户写入SOR-B后关联 → 被SOR-B方拒绝，不允许外部进程写入数据，不可行。
• 方案2：分批使用IN子句 → 效率极低，会触发大量小查询，既占用Teradata资源，又增加PySpark调度开销，不推荐。
• 方案3：用Volatile Table加载账户ID后关联 → 可行性及资源评估如下：
  • 资源承载：32GB内存的驱动完全足够。100万行账户ID的内存占用极低（假设每个ID是20字节的字符串，仅约20MB）；即使拉取1000万行交易数据，按每行1KB估算也仅10GB，远低于32GB的内存容量。注意合理配置PySpark的driver-memory和executor-memory参数即可避免OOM。
  • 方案推荐：非常推荐。Teradata的Volatile Table是会话级临时表，会话结束自动销毁，不会污染SOR-B的持久化数据，且基于Volatile Table的关联查询效率远高于分批IN子句，能大幅减少查询次数和资源消耗。

更优思路补充 #

1. 用Teradata原生工具加载账户ID：使用Teradata的FastLoad或MultiLoad工具将SOR-A的账户ID批量加载到SOR-B的Volatile Table，比PySpark直接插入效率更高，原生工具针对Teradata的批量写入做了深度优化。
2. 分批次处理账户ID：把150万账户分成多批（比如每批20万），每批加载到Volatile Table完成关联查询后，立即清理该表再处理下一批。这种方式能进一步降低单次内存占用，避免突发的数据膨胀风险。
3. 利用SOR-B的分区裁剪：如果SOR-B的交易表是按账户ID或时间分区的，先通过分区条件过滤掉无关数据，再和Volatile Table关联，能大幅减少Teradata的扫描范围，提升查询速度。
4. Spark侧Broadcast Join：如果150万账户ID的数据集可以被广播到每个Spark Executor，可先将SOR-A的账户ID拉取到PySpark，然后分批拉取SOR-B的交易数据，在Spark侧执行Broadcast Join。此方式无需在SOR-B侧创建临时表，但要注意控制SOR-B的拉取批次大小，避免单次拉取数据量过大导致Executor内存不足。

内容的提问来源于stack exchange，提问作者2011ashwini