如何用Java程序化验证JSON是否符合Avro Schema

Got it, let's tackle this problem step by step. You want to strictly validate your JSON response against an existing Avro Schema (checking both field names and data types) and throw an exception if validation fails—no command line tools, just pure Java code. Here's how to do it:

1. 添加Avro依赖 #

First, make sure you have the Avro libraries in your project. If you're using Maven, add this to your pom.xml:

<dependency>
    <groupId>org.apache.avro</groupId>
    <artifactId>avro</artifactId>
    <version>1.11.3</version> <!-- 建议使用最新稳定版 -->
</dependency>

2. 定义匹配的Avro Schema #

Let's create an Avro Schema that aligns with your expected JSON structure. Save this as user.avsc in your project's resources folder:

{
  "type": "record",
  "name": "User",
  "namespace": "com.example",
  "fields": [
    {"name": "name", "type": "string"},
    {"name": "age", "type": "int"},
    {"name": "sex", "type": "string"},
    {"name": "active", "type": "boolean"}
  ]
}

注意这里active被定义为boolean类型——如果你的JSON传入的是字符串"true"而非布尔值true，验证会直接失败，这正是你需要的严格校验逻辑。

3. 编写核心验证代码 #

Avro内置的JSON解析器会自动针对Schema做字段名、数据类型的校验，不匹配时直接抛出异常。我们只需要加载Schema、解析JSON并捕获异常即可：

import org.apache.avro.Schema;
import org.apache.avro.generic.GenericDatumReader;
import org.apache.avro.generic.GenericRecord;
import org.apache.avro.io.DatumReader;
import org.apache.avro.io.Decoder;
import org.apache.avro.io.DecoderFactory;
import java.io.ByteArrayInputStream;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;

public class AvroSchemaValidator {

    public static void validateJsonAgainstAvroSchema(String jsonResponse, Schema schema) throws Exception {
        // 创建基于目标Schema的DatumReader
        DatumReader<GenericRecord> datumReader = new GenericDatumReader<>(schema);
        // 将JSON字符串转为输入流
        InputStream inputStream = new ByteArrayInputStream(jsonResponse.getBytes(StandardCharsets.UTF_8));
        // 创建JSON解码器
        Decoder decoder = DecoderFactory.get().jsonDecoder(schema, inputStream);
        
        try {
            // 尝试将JSON解析为GenericRecord，解析成功即代表校验通过
            GenericRecord record = datumReader.read(null, decoder);
            System.out.println("校验通过: " + record);
        } catch (Exception e) {
            // 包装异常并抛出，方便业务层处理
            throw new IllegalArgumentException("JSON不符合Avro Schema校验规则: " + e.getMessage(), e);
        }
    }

    public static void main(String[] args) throws Exception {
        // 从资源文件加载Avro Schema
        Schema schema = new Schema.Parser().parse(AvroSchemaValidator.class.getResourceAsStream("/user.avsc"));
        
        // 你的示例JSON响应（注意这里active是字符串，会触发校验失败）
        String json = "{\"name\":\"alex\",\"age\":23,\"sex\":\"M\",\"active\":\"true\"}";
        
        try {
            validateJsonAgainstAvroSchema(json, schema);
        } catch (IllegalArgumentException e) {
            System.err.println("校验失败（符合预期）: " + e.getMessage());
            // 这里可以根据业务需求做异常处理，比如返回错误响应等
        }
    }
}

4. 常见校验失败场景 #

运行上述代码后，因为示例JSON中active是字符串类型，会抛出类似这样的异常：

JSON不符合Avro Schema校验规则: Expected boolean. Got string

其他会触发校验失败的场景包括：

• 缺少Schema中定义的必填字段（比如省略age）
• 存在Schema未定义的额外字段
• 数据类型不匹配（比如给age传入字符串）
• 字段名称拼写错误（比如用username代替name）

关键细节说明 #

• 严格字段校验: Avro默认不允许额外字段，也要求Schema中定义的所有字段必须存在，完全符合你要的严格校验需求。如果需要放宽规则，可以给GenericDatumReader配置SchemaValidationStrategy，但这里我们保持默认的严格模式。
• 类型安全: 解析器会严格校验数据类型，不会做隐式转换（比如字符串"123"不会自动转为整数）。

内容的提问来源于stack exchange，提问作者Bhargava Sharma