S3桶Parquet文件的AWS服务需求：Schema推断、无代码查询及排除规则

针对你的需求，AWS Glue + Amazon Athena是最合适的组合，完全满足无代码Schema推断、数据查询，以及自定义排除规则的需求：

1. 自动推断Parquet Schema：AWS Glue爬虫 #

• 登录AWS Glue控制台，创建新爬虫，将你的S3桶（或桶内根路径）设为数据源
• 在爬虫配置的排除模式中，添加需要排除的文件夹/文件路径，支持通配符：
  • 排除整个文件夹：**/不需要的表文件夹/**
  • 排除特定后缀的文件：**/*.tmp.parquet
  • 排除某层级下的特定文件：**/table_a/*_old.parquet
• 启动爬虫后，它会自动扫描所有符合规则的Parquet文件，推断每个文件夹对应表的Schema，并将表元数据写入Glue Data Catalog。后续还可以设置定时任务，自动更新变化的Schema。

2. 无代码查询数据：Amazon Athena #

• 打开Amazon Athena控制台，直接选择Glue Data Catalog中的表，使用标准SQL进行查询，全程无需编写任何代码
• 如果需要临时过滤数据，也可以在SQL语句中通过路径条件进一步排除，例如：

  SELECT * FROM my_table WHERE NOT "$path" LIKE '%exclude_subfolder%'
  

补充说明 #

• Glue爬虫会自动处理Parquet的嵌套结构、分区等特性，生成的Schema精准度很高
• 排除模式的优先级高于包含规则，确保不需要的数据不会进入Data Catalog，避免干扰查询
• 如果对自动生成的Schema有调整需求，可直接在Glue控制台的表编辑界面手动修改字段类型、注释等

内容的提问来源于stack exchange，提问作者ADom