AWS Glue无法访问视图求助：Athena可查但Glue Job报错

错误成因 #

• Glue Context调用报错：py4j.protocol.Py4JJavaError: ... No classification or connection in my-db.vm_view
  原因是getCatalogSource方法是为Glue Catalog中的物理表设计的，要求表必须配置存储分类（如Parquet、CSV）和连接信息，但视图只是逻辑查询的定义，没有实际存储介质，因此该方法不支持加载视图。

• Spark SQL调用报错：AnalysisException: java.lang.IllegalArgumentException: Can not create a Path from an empty string
  通常是因为视图依赖的底层物理表在Glue Catalog中的元数据不完整，最常见的是缺少Location（存储路径）配置；也可能是视图本身的元数据未正确关联到底层表的存储信息。

解决办法 #

解决Glue Context调用视图的问题 #

直接放弃使用getCatalogSource加载视图，改用Spark SQL查询视图，示例代码：

# 直接通过Spark SQL查询视图
df = spark.sql("SELECT * FROM `my-db`.`vm_view`")
df.show()

解决Spark SQL查询视图的报错 #

1. 检查并修复底层表的元数据
   登录Glue控制台，进入my-db数据库，找到视图依赖的物理表，确认其Location字段是否为合法的S3路径。如果缺失，执行以下Athena SQL更新：

   ALTER TABLE `my-db`.`underlying_table` SET LOCATION 's3://your-bucket/path/to/data/'
   

2. 刷新或重建视图元数据
   如果视图是在Athena中创建的，可能存在Glue Catalog元数据不同步的情况，可重新创建视图确保元数据正确：

   CREATE OR REPLACE VIEW `my-db`.`vm_view` AS
   -- 替换为原视图的查询语句
   SELECT col1, col2 FROM `my-db`.`underlying_table` WHERE your_condition
   

3. 验证Glue Job的IAM权限
   确保Glue Job使用的IAM角色拥有以下权限：

   • Glue相关：glue:GetTable、glue:GetDatabase
   • S3相关：s3:GetObject（针对视图底层数据的存储桶）

AWS中获取视图的方法 #

1. Glue控制台 #

进入Glue Data Catalog，选择目标数据库my-db，在表列表中筛选类型为VIEW的条目，点击即可查看视图的定义、依赖表等详细信息。

2. Athena控制台 #

在Athena查询编辑器中执行以下语句，获取视图的创建语句：

SHOW CREATE VIEW `my-db`.`vm_view`

3. AWS CLI #

• 获取视图的元数据信息：

  aws glue get-table --database-name my-db --name vm_view
  

• 获取视图的创建语句：

  # 先启动查询获取执行ID
  QUERY_ID=$(aws athena start-query-execution --query-string "SHOW CREATE VIEW my-db.vm_view" --result-configuration "OutputLocation=s3://your-bucket/athena-results/" --query-execution-context "Database=my-db" | jq -r '.QueryExecutionId')
  # 然后获取查询结果
  aws athena get-query-results --query-execution-id $QUERY_ID
  

4. 代码方式（Glue Job/Spark） #

在Glue Job中通过Spark SQL直接查询视图定义：

spark.sql("SHOW CREATE VIEW `my-db`.`vm_view`").show(truncate=False)

内容的提问来源于stack exchange，提问作者Mery Lo