如何自动调度Amazon Athena Spark Notebook定时执行？

Athena本身没有直接对Notebook提供定时调度功能，但可以通过以下步骤实现自动执行：

1. 导出Notebook为可执行脚本 #

• 打开目标PySpark Notebook，点击右上角的导出按钮，选择导出为.py格式的脚本文件。
• 清理脚本中的交互式代码（比如input()、手动单元格执行逻辑），确保所有参数（数据源路径、输出位置等）配置固定或通过环境变量传递。

2. 上传脚本到S3 #

• 将导出的.py脚本上传到AWS S3存储桶，记录完整的S3路径（例：s3://your-bucket/pyspark-jobs/your-notebook-script.py）。

3. 创建Athena PySpark作业 #

• 进入Athena控制台，切换到作业页面，点击创建作业。
• 选择PySpark作业类型：
  • 在脚本位置填入刚才的S3脚本路径；
  • 指定作业执行角色（需包含S3读写、Athena作业执行、Glue Data Catalog访问等必要权限）；
  • 设置作业的输出位置（S3存储桶，用于保存日志和执行结果）。

4. 配置定时触发（基于CloudWatch Events） #

• 进入CloudWatch控制台，转到事件 > 规则页面，点击创建规则：
  • 在计划选项中，选择按计划安排，输入cron或rate表达式设置执行时间（例：cron(0 12 * * ? *)表示UTC时间每天12点执行）；
  • 在目标中选择Athena作业，选中刚创建的PySpark作业，配置触发所需的执行角色。

5. 验证调度有效性 #

• 手动触发CloudWatch规则，检查Athena作业是否正常启动；执行完成后查看S3中的日志和结果，确认脚本运行符合预期。

注意事项 #

• 确保作业执行角色权限完整，覆盖脚本涉及的所有AWS资源访问需求；
• 如果Notebook依赖第三方Python库，需在Athena作业配置中指定自定义Spark环境，添加对应依赖库；
• 可通过CloudWatch告警配置作业失败通知，及时掌握执行状态。

内容的提问来源于stack exchange，提问作者MOH