Spring Cloud Data Flow中task-launcher-dataflow版本兼容及任务名传递问题咨询

让我们一步步拆解并解决你遇到的两个核心问题：版本不兼容异常，以及任务名称无法传递给启动器的问题。

1. 修复 Incompatible version of Data Flow server detected 异常 #

这个错误的根源是组件版本不匹配 + 配置指向错误：

• 版本不匹配：你使用的task-launcher-dataflow-sink-kafka:1.0.2.RELEASE属于SCDF 1.x生态，但你的Data Flow Server是2.4.0（2.x系列）。SCDF的组件严格遵循主版本对齐原则——2.x的Server必须搭配2.x的Source/Sink/Task应用。
  解决方法：把task-launcher-dataflow sink升级到与SCDF 2.4.0匹配的版本，比如2.4.0.RELEASE。创建流时可以明确指定版本，或者确保你的SCDF应用注册表中已注册该版本的sink。
• Server URI指向错误：你把task-launcher-dataflow的--server-uri指向了Skipper Server的端口，但这个sink需要连接的是Data Flow Server（不是Skipper）。Skipper负责流的部署，而任务启动的逻辑由Data Flow Server处理。修改这个参数为你的Data Flow Server的HTTP地址（比如默认端口是9393，根据你的部署调整）。

2. 解决任务名称未传递的问题 #

当前你的SFTP Source输出的是单纯的文件路径消息，但task-launcher-dataflow需要接收的是TaskLaunchRequest类型的消息（包含任务名称、参数等元数据），所以需要调整SFTP Source的配置来生成正确的消息结构：

• 直接配置SFTP Source生成TaskLaunchRequest：确保你使用的是2.x版本的sftp-dataflow-source，它支持通过参数直接构造任务请求。修改你的流定义，添加参数来指定任务名称和传递文件路径作为任务参数：

  stream create testStreamSftpDataflowlaunch1 --definition "sftp-dataflow --local-dir=/tmp/local-files1 --remote-dir=/data/docker/containers/SCDF/dockerSCDF/tmp/remote-files1 --password=docker* --allow-unknown-keys=true --username=docker --host=slnxdalicrprp03.mano.es.sopra --task-launch.request.taskName=batchEODTask --task-launch.request.arguments=--inputFile={payload} --logging.level.org.springframework.integration=DEBUG | task-launcher-dataflow --server-uri=http://your-dataflow-server-host:9393"
  

  这里的--task-launch.request.taskName直接指定要启动的任务名称，--task-launch.request.arguments把文件路径作为参数传递给Batch任务。
• 用Transform转换消息结构（备用方案）：如果SFTP Source无法直接生成TaskLaunchRequest，可以在流中添加一个transform处理器来转换消息：

  stream create testStreamSftpDataflowlaunch1 --definition "sftp-dataflow --local-dir=/tmp/local-files1 --remote-dir=/data/docker/containers/SCDF/dockerSCDF/tmp/remote-files1 --password=docker* --allow-unknown-keys=true --username=docker --host=slnxdalicrprp03.mano.es.sopra --logging.level.org.springframework.integration=DEBUG | transform --expression=T(org.springframework.cloud.dataflow.task.launcher.TaskLaunchRequest).new('batchEODTask', T(java.util.Collections).singletonMap('inputFile', payload), null, null, null) | task-launcher-dataflow --server-uri=http://your-dataflow-server-host:9393"
  

  这个Transform会把文件路径消息转换成包含任务名称和参数的TaskLaunchRequest对象，让启动器能正确识别。

3. 额外排查建议 #

• 确认版本兼容性：你的Skipper 2.3.0和Data Flow 2.4.0是匹配的，这部分没问题。
• 检查应用注册表：用SCDF CLI执行app list命令，确认已注册的sftp-dataflow-source和task-launcher-dataflow-sink都是2.x版本。
• 查看完整异常栈：如果调整后仍有问题，获取完整的异常堆栈信息，排查是否存在依赖冲突等其他问题。

内容的提问来源于stack exchange，提问作者fmo616