如何在Backstage.io中记录组件生产与消费的Kafka事件？

核心思路：扩展Async API插件适配Avro #

Backstage的Async API插件支持自定义Schema解析逻辑，你可以通过以下方式适配Avro Schema：

• 自定义Schema转换脚本：编写轻量转换器，将Avro Schema转为Async API兼容的JSON Schema格式，在Backstage加载实体时自动完成转换。示例核心逻辑：

  // Avro转Async API Schema简化示例
  function avroToAsyncApi(avroSchema) {
    const asyncApiSchema = {
      type: avroSchema.type,
      properties: {},
      required: avroSchema.fields?.filter(f => !f.default).map(f => f.name) || []
    };
    avroSchema.fields?.forEach(field => {
      asyncApiSchema.properties[field.name] = {
        type: field.type.type || field.type,
        description: field.doc || ''
      };
    });
    return asyncApiSchema;
  }
  

• 扩展Async API实体字段：在catalog-info.yaml的API实体中添加自定义字段x-avro-schema，直接关联本地或远程的Avro Schema文件，再修改插件前端组件，优先读取该字段内容渲染Avro结构：

  apiVersion: backstage.io/v1alpha1
  kind: API
  metadata:
    name: user-events-kafka-api
    description: 用户事件Kafka流API
  spec:
    type: asyncapi
    lifecycle: production
    owner: team-user
    definition:
      $asyncapi: '2.6.0'
      info:
        title: User Events Kafka API
        version: '1.0.0'
      channels:
        user.created:
          publish:
            message:
              x-avro-schema: ./schemas/user-created.avsc
  

替代方案：Kafka插件+Schema Registry原生集成 #

如果不想改动Async API插件，可结合Backstage Kafka插件与Schema Registry实现原生适配：

• 在组件实体中关联Kafka资源：在微服务的catalog-info.yaml里添加注解，关联对应的Kafka Topic和Schema Registry地址：

  apiVersion: backstage.io/v1alpha1
  kind: Component
  metadata:
    name: user-service
    description: 用户管理微服务
    annotations:
      kafka.apache.org/topics: user.created,user.updated
      kafka.apache.org/schema-registry: http://schema-registry:8081
  

• 自定义Catalog Processor：编写Processor逻辑，从Schema Registry拉取对应Topic的Avro Schema，自动同步到Backstage实体元数据中，实现UI上的Schema详情展示。

落地注意事项 #

• 保持Avro Schema版本与Backstage实体版本同步，避免出现Schema与服务版本不匹配的问题。
• 多环境（开发/测试/生产）的Topic和Schema，可通过Catalog的environment字段区分，或在注解中添加环境前缀。

内容的提问来源于stack exchange，提问作者Alessandro Santini