You need to enable JavaScript to run this app. Spark Scala通过jsch SFTP传文件到大机出现记录截断问题求解
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala通过jsch SFTP传文件到大机出现记录截断问题求解

报错根因

你当前报错的核心原因是误用了ls方法传递大机文件配置参数。ls是SFTP的目录列表查询命令,你传入的/+recfm=fb,lrecl=3000被识别为待查询的目录路径,自然会触发“无此文件或目录”的报错。z/OS 大型机的OpenSSH SFTP实现中,recfm、lrecl这类数据集参数无需单独调用接口设置,直接和目标写入路径拼接即可生效。


正确修改方案

  1. 直接删除代码中调用sftpChannel.ls("/+recfm=fb,lrecl=3000")的整行代码
  2. 调整put方法的目标路径,将参数前缀拼接到实际目标路径前即可:
// 拼接大机文件配置参数到目标路径前
val configuredDestPath = s"/+recfm=fb,lrecl=3000/${destinationPath}"
// 执行文件写入
sftpChannel.put(sourceFile, configuredDestPath, ChannelSftp.APPEND)

如果你的目标路径是MVS数据集格式,写法如下:

val configuredDestPath = s"/+recfm=fb,lrecl=3000//'YOUR.MVS.DATASET.NAME'"

常见问题排查点

  • 若传输文本类CSV文件,可额外增加filetype=text参数实现ASCII到EBCDIC编码的自动转换,避免乱码,完整前缀为/+recfm=fb,lrecl=3000,filetype=text
  • lrecl的取值需要大于等于你CSV单行最大字节数,若使用FB格式需要额外预留2字节的换行符长度,避免仍然出现截断
  • 若写入已有数据集,需要保证你配置的recfm、lrecl参数和已有数据集的属性一致,否则会沿用原有数据集的属性
  • 若0.1.53版本jsch仍有兼容性问题,可替换为社区维护的com.github.mwiede:jsch分支版本,该版本修复了大量老版本bug,对大型机SFTP的兼容性更好
  • 如果你使用spring-ml的spark-sftp包,直接将上述参数前缀拼接到spark任务配置的目标路径前即可生效,无需修改依赖包源码

内容的提问来源于stack exchange,提问作者Sukanya Pai

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 08:24:10