Docker部署Elasticsearch：外部磁盘存储与文档导入问题求助

一、修复外部磁盘挂载失败问题 #

1. 确认并挂载外部磁盘 #

首先确保两块外部磁盘已正确挂载到Ubuntu系统：

• 用lsblk或fdisk -l查看磁盘设备（例如/dev/sdb1、/dev/sdc1）
• 创建挂载点：

  sudo mkdir -p /media/es_index_disk  # 存储ES索引的磁盘挂载点
  sudo mkdir -p /media/input_docs_disk  # 存储待索引文档的磁盘挂载点
  

• 临时挂载磁盘（替换为你的实际设备路径）：

  sudo mount /dev/sdb1 /media/es_index_disk
  sudo mount /dev/sdc1 /media/input_docs_disk
  

• 配置开机自动挂载：编辑/etc/fstab添加以下内容（根据磁盘实际文件系统类型修改，如ext4、ntfs）：

  /dev/sdb1 /media/es_index_disk ext4 defaults 0 2
  /dev/sdc1 /media/input_docs_disk ext4 defaults 0 2
  

  执行sudo mount -a验证挂载配置是否生效。

2. 设置磁盘权限 #

Elasticsearch容器默认使用UID为1000的elasticsearch用户运行，需给ES索引磁盘挂载点赋予对应权限：

sudo chown -R 1000:1000 /media/es_index_disk

待索引文档磁盘可根据Python服务需求设置权限，例如赋予当前用户读写权限：

sudo chown -R $USER:$USER /media/input_docs_disk

二、解决容器内存不足（错误137）问题 #

错误137是容器被OOM Killer终止的标志，Elasticsearch对内存需求较高，需调整JVM参数与容器资源限制：

• 在docker-compose.yml中为Elasticsearch服务添加JVM堆配置与内存限制：
  • ES_JAVA_OPTS：设置JVM堆初始值与最大值（建议设为服务器内存的1/2，不超过32G），例如服务器有8G内存则设为-Xms4g -Xmx4g
  • mem_limit：限制容器可用内存，需大于JVM堆大小（例如JVM设4G，容器限制6G）
  • 添加ulimits禁用内存交换（ES官方推荐配置）

三、修正后的完整docker-compose配置 #

version: '3.8'

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.0
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms2g -Xmx2g  # 根据服务器内存调整，8G内存可设为-Xms4g -Xmx4g
    ports:
      - "9200:9200"
      - "9300:9300"
    volumes:
      - esdata:/usr/share/elasticsearch/data
    mem_limit: 4g  # 容器内存限制，需大于JVM堆大小
    ulimits:
      memlock:
        soft: -1
        hard: -1  # 禁用内存交换，提升ES性能与稳定性

  python:
    build: .
    container_name: python
    ports:
      - "80:80"
    volumes:
      - /media/input_docs_disk:/app/input  # 第二块外部磁盘挂载到容器内的待索引文档目录，根据你的Python代码路径调整
    depends_on:
      - elasticsearch
    # 若Python服务也需内存限制，可添加mem_limit: 2g

volumes:
  esdata:
    driver_opts:
      type: "none"
      device: /media/es_index_disk  # 第一块外部磁盘的挂载点
      o: "bind"

四、额外系统配置 #

Ubuntu默认的vm.max_map_count参数值过低，会导致ES启动失败，需调整：

• 临时生效：

  sudo sysctl -w vm.max_map_count=262144
  

• 永久生效：编辑/etc/sysctl.conf添加以下内容：

  vm.max_map_count=262144
  

  执行sudo sysctl -p使配置生效。

五、启动验证 #

执行以下命令启动服务：

docker compose up -d

• 检查ES状态：curl http://localhost:9200，返回JSON数据则说明启动成功
• 检查容器日志：docker logs elasticsearch，排查是否有其他错误

内容的提问来源于stack exchange，提问作者mesquita