Python+SQL+Filezilla全流程工作流自动化管理工具咨询

核心选型结论 #

• 你之前了解的Apache Airflow100%适配你的需求，完全满足「单一平台统一管理、不迁移海量数据、复用现有手动操作逻辑」三个核心要求，不存在适配障碍。
• 如果你觉得Airflow初始配置对新手有门槛，可选择轻量化替代方案Prefect 2，核心逻辑和Airflow一致，单机部署步骤更简单。

注：这类工作流编排工具和Databricks类数据处理平台有本质区别：编排工具本身不存储、不计算业务数据，只负责按预设顺序触发你已经跑通的各环节操作，所有数据处理、SQL计算、文件传输都在你原有环境（本地/Filezilla服务器/Oracle数据库）完成，完全不会产生海量数据跨平台传输的开销，刚好匹配你的性能要求。

对应你的工作流的落地方式 #

你不需要重写任何已经调试通过的Python脚本、SQL逻辑，只需要把每一步手动操作封装为编排平台的任务节点即可：

• Filezilla拉取目标文件：直接用平台内置的SFTP/FTPS连接组件配置好Filezilla服务器的地址、账号、目标文件路径，任务触发时会自动拉取文件到指定工作目录，和你手动打开Filezilla拖拽下载的效果完全一致
• Python脚本处理写入Oracle：用平台的Python任务组件直接调用你现有的Python处理脚本，搭配内置的Oracle连接组件配置好数据库账号信息，脚本运行逻辑和你手动执行完全一致，处理完成后自动把输出表写入Oracle
• Oracle运行大型SQL生成结果表：用平台的Oracle任务组件直接加载你已经在Oracle SQL Developer中调试通过的大型SQL脚本，SQL的全部计算逻辑都在Oracle数据库侧执行，不会把高容量数据表的数据抽到平台侧，性能和你手动在SQL Developer里跑脚本没有区别
• Python导出结果回传Filezilla：同样用Python任务组件调用你现有的结果表导出脚本，文件生成后再通过SFTP/FTPS组件自动上传到Filezilla服务器的指定路径，完成全链路闭环。

新手落地提示 #

• 初期不需要搭建分布式集群，单机部署编排平台即可满足日常定时任务运行需求，资源占用极低
• 平台自带全链路运行日志、失败告警、单步重跑能力，某一环节出错时不需要从头手动重跑全流程，排查问题效率比手动操作高很多
• 所有连接信息（Filezilla账号、Oracle账号）都可以统一存在平台的连接管理模块，不需要硬编码在脚本里，安全性更高

内容的提问来源于stack exchange，提问作者its.kcl