如何使用Karate在AWS Athena中执行查询

1. 配置依赖 #

在项目构建文件（如Maven pom.xml）中添加必要依赖：

• AWS Athena JDBC驱动
• Karate JDBC模块

<dependencies>
    <!-- Karate JDBC 模块 -->
    <dependency>
        <groupId>com.intuit.karate</groupId>
        <artifactId>karate-jdbc</artifactId>
        <version>1.4.1</version>
        <scope>test</scope>
    </dependency>
    <!-- AWS Athena JDBC 驱动 -->
    <dependency>
        <groupId>com.amazonaws.athena</groupId>
        <artifactId>aws-athena-jdbc-driver</artifactId>
        <version>2.0.39</version>
    </dependency>
</dependencies>

2. 核心实现脚本 #

以下是完整的Karate Feature脚本示例，包含连接初始化、查询执行和结果断言：

Feature: 通过Karate查询AWS Athena数据

  Background:
    # 加载Athena JDBC驱动
    * def athenaDriver = com.amazonaws.athena.jdbc.AthenaDriver
    # 配置连接参数（替换为你的实际配置）
    * def jdbcProps = {
        s3_staging_dir: 's3://your-result-bucket/athena-query-results/',
        aws_credentials_provider_class: 'com.amazonaws.auth.DefaultAWSCredentialsProviderChain'
    }
    # 初始化JDBC连接（替换us-east-1为你的AWS区域）
    * def athenaDb = karate.jdbc('jdbc:awsathena://athena.us-east-1.amazonaws.com:443', jdbcProps)

  Scenario: 执行查询并验证结果
    # 定义Athena查询语句
    * def query = 'SELECT id, name FROM your_database.your_table WHERE status = \'active\' LIMIT 5'
    # 执行查询，结果为List<Map>格式
    * def queryResult = athenaDb.read(query)
    
    # 结果断言
    * match queryResult != null
    * match queryResult.size() == 5
    * match queryResult[0].id == 1001
    * match queryResult[0].name == 'Sample User'

3. 关键注意事项 #

• 权限配置：运行环境的AWS凭证需具备以下权限：
  • athena:StartQueryExecution、athena:GetQueryResults
  • s3:PutObject、s3:GetObject（针对指定的S3结果存储桶）
• S3路径要求：s3_staging_dir必须是已存在的S3路径，且凭证拥有写入权限
• 自定义凭证：若不使用默认凭证链（环境变量、~/.aws/credentials等），可配置静态凭证（不建议生产环境使用）：

  * def jdbcProps = {
      s3_staging_dir: 's3://your-result-bucket/athena-query-results/',
      aws_access_key_id: 'YOUR_ACCESS_KEY',
      aws_secret_access_key: 'YOUR_SECRET_KEY'
  }
  

• 版本兼容性：确保Athena JDBC驱动与Karate版本兼容，建议使用最新稳定版

内容的提问来源于stack exchange，提问作者dimasfarhansyah