如何将Airbyte多容器应用整合到主docker-compose.yml中？

由于Airbyte是多容器应用，直接整合到现有docker-compose.yml有两种可行方案，以下是具体实现：

方案一：使用Docker Compose include指令（推荐） #

这种方式无需修改Airbyte的原始配置，保持其独立的compose文件，同时和主管道服务联动。

步骤： #

1. 下载Airbyte官方的docker-compose配置文件，放到主docker-compose.yml同目录下，命名为docker-compose.airbyte.yml：

curl -O https://raw.githubusercontent.com/airbytehq/airbyte/master/docker-compose.yml -o docker-compose.airbyte.yml

2. 修改主docker-compose.yml，添加include指令并统一网络配置：

version: "3.8"

# 加载Airbyte的compose配置
include:
  - docker-compose.airbyte.yml

services:
  db:
    container_name: postgres
    image: postgres:latest
    restart: always
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=mysecretpassword
      - POSTGRES_DB=training
    ports:
      - '5432:5432'
    volumes:
      - ./postgres:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U postgres"]
      interval: 60s
      timeout: 30s
      retries: 5
    # 加入Airbyte默认网络，实现容器间互通
    networks:
      - airbyte_default
   
  dbt:
    image: fishtownanalytics/dbt:latest
    environment:
      DBT_PROFILES_DIR: /dbt/profile
    volumes:
      - ./my_dbt_profiles:/dbt/profile
    depends_on:
      - db
    networks:
      - airbyte_default

# 声明Airbyte默认网络为外部网络（由Airbyte的compose创建）
networks:
  airbyte_default:
    external: true

说明： #

• 执行docker-compose up -d即可同时启动Airbyte、PostgreSQL和dbt所有服务。
• 在Airbyte配置数据源时，PostgreSQL的主机名直接填db即可（同网络内可通过服务名访问）。
• 这种方式保留了Airbyte配置的独立性，后续Airbyte版本更新只需替换docker-compose.airbyte.yml即可。

方案二：手动合并Airbyte服务到主compose文件 #

如果不想用多文件整合，可以将Airbyte的所有服务、网络、卷配置复制到主docker-compose.yml中，注意以下要点：

• 避免服务/容器名冲突：比如Airbyte自带的PostgreSQL服务默认名为db，需要重命名为airbyte-db，同时调整其端口、环境变量和卷配置。
• 统一网络：将所有服务加入同一个自定义网络，替代各自的默认网络。
• 保留Airbyte的持久化卷：比如airbyte_db、airbyte_workspace等，确保Airbyte的配置和数据不会丢失。

示例合并后的核心结构： #

version: "3.8"

services:
  # 你的PostgreSQL服务
  db:
    container_name: postgres
    image: postgres:latest
    # ... 原有配置 ...
    networks:
      - data-pipeline-net

  # 你的dbt服务
  dbt:
    # ... 原有配置 ...
    networks:
      - data-pipeline-net

  # Airbyte服务（从Airbyte的compose复制）
  airbyte-server:
    image: airbyte/server:latest
    container_name: airbyte-server
    # ... Airbyte server的配置 ...
    networks:
      - data-pipeline-net

  airbyte-webapp:
    image: airbyte/webapp:latest
    container_name: airbyte-webapp
    # ... Airbyte webapp的配置 ...
    networks:
      - data-pipeline-net

  # 其他Airbyte服务（worker、db、scheduler等）依次复制并调整网络

# 自定义统一网络
networks:
  data-pipeline-net:
    driver: bridge

# Airbyte的持久化卷
volumes:
  airbyte_db:
  airbyte_workspace:
  # ... 其他Airbyte需要的卷 ...

注意： #

这种方式需要维护合并后的大文件，后续Airbyte版本更新时需要手动同步配置，适合需要高度自定义的场景。

内容的提问来源于stack exchange，提问作者user22316802