修改OpenSearch Docker镜像，实现启动时执行Python脚本及数据处理

一、定制OpenSearch镜像 #

基于官方镜像构建包含Python脚本和依赖的自定义镜像，实现启动时自动完成数据导入与查询。

1. 编写Dockerfile #

FROM opensearchproject/opensearch:latest

# 安装Python及依赖
RUN yum install -y python3 python3-pip && \
    pip3 install opensearch-py xmltodict

# 创建工作目录
WORKDIR /app

# 复制脚本文件
COPY import_data.py .
COPY run_query.py .
COPY entrypoint.sh .

# 赋予启动脚本执行权限
RUN chmod +x entrypoint.sh

ENTRYPOINT ["/app/entrypoint.sh"]

2. 编写启动脚本（entrypoint.sh） #

确保OpenSearch服务就绪后，依次执行数据导入和查询逻辑：

#!/bin/bash

# 后台启动OpenSearch
/opensearch-docker-entrypoint.sh &
OPENSEARCH_PID=$!

# 等待服务就绪
until curl -s -u admin:admin https://localhost:9200/_cluster/health?wait_for_status=yellow -k; do
  echo "等待OpenSearch启动..."
  sleep 5
done

# 执行数据导入
python3 /app/import_data.py

# 若传入查询参数则执行查询并保存结果
if [ -n "$SEARCH_QUERY" ]; then
  python3 /app/run_query.py "$SEARCH_QUERY"
fi

# 保持容器运行
wait $OPENSEARCH_PID

3. 数据导入脚本（import_data.py） #

读取挂载的XML文件并批量导入OpenSearch：

from opensearchpy import OpenSearch
import xmltodict
import os

# 初始化OpenSearch客户端
client = OpenSearch(
    hosts=[{'host': 'localhost', 'port': 9200}],
    http_auth=('admin', 'admin'),
    use_ssl=True,
    verify_certs=False,
    ssl_show_warn=False
)

# 创建目标索引（不存在则创建）
index_name = 'dataset_index'
if not client.indices.exists(index=index_name):
    client.indices.create(index=index_name)

# 遍历XML目录导入数据
xml_dir = '/data/xml'
for filename in os.listdir(xml_dir):
    if filename.endswith('.xml'):
        with open(os.path.join(xml_dir, filename), 'r') as f:
            xml_content = f.read()
            # 根据你的XML结构调整解析逻辑，此处假设根节点为<document>
            doc_data = xmltodict.parse(xml_content)['document']
            client.index(index=index_name, body=doc_data)

print("数据导入完成")

4. 查询脚本（run_query.py） #

接收查询参数，执行搜索并将结果保存到挂载卷：

from opensearchpy import OpenSearch
import sys
import json

# 获取传入的查询关键词
search_query = sys.argv[1]
client = OpenSearch(
    hosts=[{'host': 'localhost', 'port': 9200}],
    http_auth=('admin', 'admin'),
    use_ssl=True,
    verify_certs=False,
    ssl_show_warn=False
)

# 执行全文搜索
response = client.search(
    index='dataset_index',
    body={
        'query': {
            'match': {
                '_all': search_query
            }
        }
    }
)

# 保存结果到宿主机挂载目录
with open('/data/results/query_result.json', 'w') as f:
    json.dump(response, f, indent=2)

print("查询结果已保存至/data/results/query_result.json")

二、Docker Compose批量管理实例 #

通过单份docker-compose.yml文件管理多个独立实例，无需创建大量配置文件：

version: '3.8'

services:
  opensearch-instance-1:
    build: .
    environment:
      - SEARCH_QUERY="你的搜索关键词1"
      - OPENSEARCH_INITIAL_ADMIN_PASSWORD=admin
    volumes:
      - ./dataset1/xml:/data/xml
      - ./dataset1/results:/data/results
    ports:
      - "9201:9200"
    networks:
      - opensearch-net

  opensearch-instance-2:
    build: .
    environment:
      - SEARCH_QUERY="你的搜索关键词2"
      - OPENSEARCH_INITIAL_ADMIN_PASSWORD=admin
    volumes:
      - ./dataset2/xml:/data/xml
      - ./dataset2/results:/data/results
    ports:
      - "9202:9200"
    networks:
      - opensearch-net

# 自定义网络隔离实例
networks:
  opensearch-net:
    driver: bridge

新增实例时，直接复制上述service块，修改端口、卷路径和环境变量即可。

三、运行与验证 #

1. 构建自定义镜像：docker-compose build
2. 启动所有实例：docker-compose up -d
3. 查看实例日志确认流程完成：docker-compose logs opensearch-instance-1
4. 在宿主机查看查询结果：cat ./dataset1/results/query_result.json

核心优势 #

• 所有流程容器化，避免宿主机依赖问题
• 单份配置文件管理多实例，扩容便捷
• 数据与结果通过卷挂载与宿主机共享，无需额外传输
• 实例完全独立，无集群关联，各自维护私有数据集

内容的提问来源于stack exchange，提问作者patool