如何在远程服务器上创建Airflow DAG？本地操作已掌握但远程无思路

核心逻辑 #

Airflow并不支持通过API直接创建DAG，它的核心机制是定期扫描指定目录下的Python文件来加载DAG。所以你需要做的就是把本地写好的DAG文件传到远程服务器的指定DAG目录，服务器会自动识别并加载。

具体操作步骤 #

• 确认远程DAG目录路径：登录远程服务器，执行命令airflow config get-value core dags_folder查看Airflow配置的DAG目录，默认路径通常是/opt/airflow/dags或~/airflow/dags。
• 传输DAG文件到远程：
  • 命令行方式：用SCP直接传输，本地终端执行scp /本地DAG文件路径/xxx_dag.py 远程用户名@服务器IP:/远程DAG目录路径/，比如scp ~/airflow/dags/my_task_dag.py centos@10.0.0.5:/opt/airflow/dags/。
  • 可视化方式：用SFTP工具（如FileZilla）连接远程服务器，找到DAG目录后直接拖拽上传文件，适合不熟悉命令行的新手。
• 验证DAG加载状态：
  • 打开远程Airflow的Web UI，刷新页面后查看DAG列表，新上传的DAG通常会在1分钟内出现在列表中（Airflow默认每分钟扫描一次DAG目录）。
  • 如果未加载，可在远程服务器执行airflow dags list命令查看已加载的DAG清单，排查文件权限、语法错误等问题，也可以查看Airflow调度器日志定位原因。
• 更新DAG的方法：直接替换远程目录中的DAG文件即可，Airflow会自动检测到文件变更并重新加载，无需重启服务（若涉及第三方依赖更新，可能需要重启调度器）。

新手注意事项 #

• 文件权限设置：上传后确保DAG文件有可读权限，可执行chmod 644 /远程DAG目录/xxx_dag.py调整权限，避免Airflow无法读取文件。
• 依赖包同步：如果DAG用到了第三方Python库，要确保远程Airflow环境已安装对应依赖，执行pip install 依赖包名完成安装。
• 配置解耦：不要在DAG文件中硬编码本地路径、数据库连接等信息，建议用Airflow的「变量（Variables）」或「连接（Connections）」在Web UI统一配置，方便跨环境复用。

内容的提问来源于stack exchange，提问作者Ivan