如何在Docker镜像中通过Oracle客户端实现Airflow连接远程Oracle数据库

一、封装Oracle Instant Client的自定义Airflow镜像构建 #

Dockerfile示例 #

# 替换为你实际使用的Airflow官方基础镜像版本
FROM apache/airflow:2.8.0-python3.10

USER root

# 安装Oracle客户端依赖的系统包
RUN apt-get update && apt-get install -y --no-install-recommends \
    libaio1 \
    unzip \
    && rm -rf /var/lib/apt/lists/*

# 提前从Oracle官网下载对应架构的Instant Client压缩包，放到Dockerfile同目录
# 此处以x86_64架构19.18版本为例，其他版本/架构替换对应文件名即可
COPY instantclient-basic-linux.x64-19.18.0.0.0dbru.zip /opt/oracle/
RUN unzip /opt/oracle/instantclient-basic-linux.x64-19.18.0.0.0dbru.zip -d /opt/oracle/ \
    && rm -f /opt/oracle/instantclient-basic-linux.x64-19.18.0.0.0dbru.zip

# 配置Oracle客户端环境变量
ENV LD_LIBRARY_PATH=/opt/oracle/instantclient_19_18:${LD_LIBRARY_PATH}
ENV ORACLE_HOME=/opt/oracle/instantclient_19_18
ENV PATH=${ORACLE_HOME}:${PATH}

USER airflow

# 安装cx_Oracle（版本和你现有Python脚本依赖的版本保持一致即可）
# 若需要使用Airflow原生Oracle Operator，额外安装apache-airflow-providers-oracle包
RUN pip install --no-cache-dir cx-Oracle==8.3.0 apache-airflow-providers-oracle==3.7.0

构建命令 #

docker build -t custom-airflow-oracle:2.8.0 .

二、Airflow连接Oracle配置 #

方式1：UI配置连接（推荐） #

• 登录Airflow Web UI，进入Admin > Connections，点击新增连接
• 连接类型选择Oracle
• 按实际信息填写连接参数：
  • Host：Oracle数据库地址
  • Schema：数据库服务名/SID
  • Login：数据库用户名
  • Password：数据库密码
  • Port：数据库端口，默认1521
• 点击测试连接，确认连通正常后保存

方式2：现有cx_Oracle脚本直接使用 #

你原有依赖cx_Oracle的Python脚本不需要修改核心逻辑，只需要将硬编码的连接参数替换为从Airflow连接/变量中读取即可，示例：

import cx_Oracle
from airflow.hooks.base import BaseHook

# 从Airflow连接配置中读取参数，避免硬编码敏感信息
oracle_conn = BaseHook.get_connection("your_oracle_conn_id")
dsn = f"{oracle_conn.host}:{oracle_conn.port}/{oracle_conn.schema}"

conn = cx_Oracle.connect(
    user=oracle_conn.login,
    password=oracle_conn.password,
    dsn=dsn
)
# 后续直接复用你原有业务代码即可
cursor = conn.cursor()
cursor.execute("SELECT sysdate FROM dual")
print(cursor.fetchone())
cursor.close()
conn.close()

三、常见问题排查 #

• 若启动报错找不到libclntsh.so文件：检查LD_LIBRARY_PATH环境变量配置的路径和Oracle客户端实际解压路径是否一致
• 若连接报ORA-12514错误：确认DSN中的服务名/SID配置正确，数据库端监听服务运行正常
• 若导入cx_Oracle报错：确认cx_Oracle版本、Python版本、Oracle Instant Client版本三者兼容，19c版本的Instant Client兼容11g及以上版本的Oracle数据库，兼容性覆盖最广

内容的提问来源于stack exchange，提问作者Hari Prassad Kannan