PowerCenter通过FTP与Data Transformation处理大容量Excel文件精度报错咨询

加载十万级以上记录的Excel时触发精度不支持类报错，本质是默认直传链路走全量内存解析，长数字、高精度浮点字段在序列化过程中容易出现类型截断、精度溢出，走FTP中转+分层数据转换的链路可支持单文件百万级记录的稳定处理，具体实现步骤如下：

一、FTP侧大文件传输配置 #

先调整FTP服务的传输参数，规避大文件传输损坏、半文件触发解析的问题：

• 修改FTP服务配置文件，关闭传输内存缓存，调整块大小适配大文件传输，对应配置项如下：

# 禁用内存缓存，文件直接写入磁盘
memory_cache_threshold=0
# 传输块大小设置为16MB，减少IO中断次数
transfer_block_size=16777216
# 开启断点续传，避免大文件传输中断后重传
resume_upload_enable=1

• 上传文件时先传到FTP的临时中转目录，等文件全量传输完成、MD5校验和本地文件一致后，再移动到Data Transformation服务挂载的监听目录，杜绝未传完的半文件触发解析报错。

二、Data Transformation转换规则配置（核心解决精度问题） #

不要使用默认的自动类型推断、全量内存加载配置，按以下规则调整：

• 解析模式选择流式逐行解析，禁用全量内存加载模式；对所有涉及高精度的字段（比如长ID、交易金额、经纬度），强制指定字段类型为Decimal(38,10)或定长字符串，关闭自动数值类型转换逻辑，从解析层避免长数字转双精度浮点导致的精度丢失、科学计数法转换问题。
• 配置分片处理规则，设置单分片处理记录阈值为10000条，每解析完一个分片直接写入临时存储，不把全量数据驻留内存。
• 增加精度校验节点，对高精度字段做长度、小数位合规校验，不符合规则的异常记录单独写入错误日志表，不阻断全量文件的加载流程。

三、链路校验与坑点规避 #

正式上线前依次用10万、50万、100万记录的测试文件跑通全链路，重点核对长ID、高精度金额字段和原文件值完全一致，监控端无精度不支持、内存溢出类报错。

注意事项：不要通过直接修改后缀的方式把xlsx转csv解析，会丢失单元格格式导致精度异常；不要开启Excel宏、公式自动解析选项，会额外占用内存拉低处理性能。单文件记录数超过100万时，建议上传前先按sheet拆分为单文件20万条以内的分片，处理稳定性会大幅提升。

内容的提问来源于stack exchange，提问作者Moy Portillo