在Synapse Pipeline的DataFlow中动态传递Excel文件名遇阻求助

• Pipeline侧参数传递校验

  • 确认变量赋值逻辑：如果是通过Get Metadata等活动获取文件名，检查活动输出的name字段是否正确赋值给变量；手动赋值的话，确保文件名没有多余空格、特殊字符转义错误。
  • 检查DataFlow活动的参数映射：参数名必须和DataFlow内定义的完全一致（大小写敏感），值的引用格式正确，比如直接写@variables('fileName')，不要额外添加引号（除非文件名本身包含需要转义的字符）。

• DataFlow内部参数配置检查

  • 参数类型验证：文件名参数必须设置为String类型，避免因类型不匹配导致传递失败。
  • 参数引用格式：在源的文件路径/通配符路径中，参数必须以$开头，比如$targetFileName，路径拼接用concat函数，例如concat('raw-data/', $targetFileName)，确保路径拼接后是合法的存储路径。

• 源配置与投影问题排查

  • 通配符与参数的混用逻辑：如果是指定单个文件，不要保留通配符（比如*.csv），直接用参数替换完整文件名；如果是模糊匹配，确保参数位置正确，比如concat('raw-data/*', $fileNamePart, '*.csv')。
  • 导入投影与Schema兼容：导入投影是基于预览文件生成的，若参数传递的文件和预览文件Schema不一致，会触发错误。可以先手动指定一个存在的目标文件，成功生成投影后再切换为参数，或者在源设置中开启允许Schema漂移来适配不同结构的文件。

• 调试阶段的参数验证

  • Pipeline调试时，查看DataFlow活动的输入输出日志，确认传递的参数值是否和预期一致。
  • DataFlow内部调试时，手动输入目标文件名（模拟Pipeline传递的值），单独运行DataFlow，验证是否能正常读取文件并生成投影，排除Pipeline传递之外的问题。

内容的提问来源于stack exchange，提问作者pythonCoder