Spark Scala通过jsch SFTP传文件到大机出现记录截断问题求解
报错根因
你当前报错的核心原因是误用了ls方法传递大机文件配置参数。ls是SFTP的目录列表查询命令,你传入的/+recfm=fb,lrecl=3000被识别为待查询的目录路径,自然会触发“无此文件或目录”的报错。z/OS 大型机的OpenSSH SFTP实现中,recfm、lrecl这类数据集参数无需单独调用接口设置,直接和目标写入路径拼接即可生效。
正确修改方案
- 直接删除代码中调用
sftpChannel.ls("/+recfm=fb,lrecl=3000")的整行代码 - 调整
put方法的目标路径,将参数前缀拼接到实际目标路径前即可:
// 拼接大机文件配置参数到目标路径前 val configuredDestPath = s"/+recfm=fb,lrecl=3000/${destinationPath}" // 执行文件写入 sftpChannel.put(sourceFile, configuredDestPath, ChannelSftp.APPEND)
如果你的目标路径是MVS数据集格式,写法如下:
val configuredDestPath = s"/+recfm=fb,lrecl=3000//'YOUR.MVS.DATASET.NAME'"
常见问题排查点
- 若传输文本类CSV文件,可额外增加
filetype=text参数实现ASCII到EBCDIC编码的自动转换,避免乱码,完整前缀为/+recfm=fb,lrecl=3000,filetype=text lrecl的取值需要大于等于你CSV单行最大字节数,若使用FB格式需要额外预留2字节的换行符长度,避免仍然出现截断- 若写入已有数据集,需要保证你配置的
recfm、lrecl参数和已有数据集的属性一致,否则会沿用原有数据集的属性 - 若0.1.53版本jsch仍有兼容性问题,可替换为社区维护的
com.github.mwiede:jsch分支版本,该版本修复了大量老版本bug,对大型机SFTP的兼容性更好 - 如果你使用spring-ml的spark-sftp包,直接将上述参数前缀拼接到spark任务配置的目标路径前即可生效,无需修改依赖包源码
内容的提问来源于stack exchange,提问作者Sukanya Pai
相关产品推荐
相关产品推荐

