Docker容器内Python应用配置更新优雅重载方案咨询

我有一个运行在Docker容器中的Python应用，已在Docker Compose文件中为配置文件设置了卷。希望实现一种机制，在应用配置文件修改后，等待当前任务完成再优雅重载/重启容器以生效配置变更。

我的Docker Compose配置 #

version: '3'
services:
  myapp:
    build:
      context: .
    volumes:
      - ./app_config.ini:/app_config.ini

我的实现代码 #

我使用watchgod库检测文件变更，并调用sighup_handler确保容器重启时优雅关闭，代码如下：

import logger
import docker
import json
import configparser
from watchfiles import watch
from datetime import datetime
import threading
import signal
import subprocess

LOGGER = logger.get_logger(__name__)

# Define a signal handler for SIGHUP
def sighup_handler(signum, frame):
    #LOGGER.info("Received SIGHUP. Initiating graceful shutdown.")
    on_change()

# Register the signal handler
signal.signal(signal.SIGHUP, sighup_handler)

def on_change():
    LOGGER.info("File change has been detected.")
    # process to restart containers
    process_containers()

# Define the command to restart a Docker container
def restart_container(container_name):
        LOGGER.info("Restarting Docker container {} ".format(container_name))
        restart_cmd = f"docker restart {container_name}"
        subprocess.run(restart_cmd, shell=True)

def process_containers(json_object):
    try:
        # Create a Docker client
        client = docker.from_env()

        # Get a list of all containers (including stopped ones)
        containers = client.containers.list(all=True)

        # Iterate through running containers and retrieve statistics
        for container in containers:
            container_name = container.name                    
            LOGGER.info("Restart container {}".format(container_name))
            #restart_container(container_name)
            container.restart()
    except Exception as ex:
        LOGGER.error("Exception Occurred during config update", exc_info=True)

def watch_for_changes():
    path_to_watch = "/config_updates/app-config-updates.json"
    LOGGER.info("Watching for changes in  {}".format(path_to_watch))
    # Use watch to watch for changes in the directory
    for changes in watch(path_to_watch):
        sighup_handler(signal.SIGHUP, None)

if __name__ == "__main__":
    try:        
        # Start the watch thread
        watch_thread = threading.Thread(target=watch_for_changes)
        watch_thread.start()

        #The script will keep running and trigger a graceful shutdown when changes are detected
        watch_thread.join()
    except KeyboardInterrupt:
        LOGGER.info("Keyboard interrupted...")

我的疑问 #

1. 上述重启容器的方案是否可行？
2. 能否实现无重启生效配置？
3. SIGHUP处理器是否会等待当前任务完成后再重启容器？
4. 是否需要其他方案？我希望实现类似Nginx服务器的配置重载效果，即变更即时生效。

1. 当前重启方案的可行性 #

这个方案基本可行但存在明显缺陷：

• 可行点：watchgod能正常检测文件变更，Docker API也能触发容器重启；卷挂载确保配置文件修改能同步到容器内。
• 缺陷：
  • process_containers函数会遍历所有容器并重启，完全没必要，应该只重启目标myapp容器，避免误操作其他服务。
  • 直接调用container.restart()等同于docker restart，默认先发送SIGTERM等待10秒，超时再发SIGKILL，但这依赖你的Python应用是否正确处理了SIGTERM信号——如果应用没做优雅关闭逻辑，重启还是会强制中断当前任务。
  • 你的SIGHUP处理器和容器内应用无关：当前代码是在外部脚本里注册SIGHUP，然后触发容器重启，没有利用容器内应用的信号处理能力。

2. 能否无重启生效配置？ #

可以，但需要你的Python应用支持动态加载配置：

• 因为配置文件已经通过卷挂载到容器内，文件修改会实时同步到容器里，不需要重启容器，只要应用能重新读取配置即可。
• 实现方式：
  • 在应用里定期轮询配置文件的修改时间，一旦变更就重新解析配置。
  • 给应用注册SIGHUP信号处理器，当收到SIGHUP时主动重新读取配置文件（这才是类似Nginx的做法）。
  • 示例代码：

    # 容器内的Python应用代码片段
    import signal
    import configparser
    import os
    import time
    
    config = configparser.ConfigParser()
    config.read('/app_config.ini')
    last_modified = os.path.getmtime('/app_config.ini')
    
    def reload_config(signum, frame):
        global config, last_modified
        current_modified = os.path.getmtime('/app_config.ini')
        if current_modified > last_modified:
            config.read('/app_config.ini')
            last_modified = current_modified
            print("Config reloaded successfully")
    
    signal.signal(signal.SIGHUP, reload_config)
    
    # 模拟业务循环
    while True:
        print(f"Current config value: {config.get('DEFAULT', 'key')}")
        time.sleep(5)
    

3. 当前SIGHUP处理器的行为 #

你的外部脚本里的SIGHUP处理器不会等待当前任务完成：

• 脚本收到SIGHUP后直接调用on_change()，然后触发容器重启，整个过程和容器内应用的任务状态无关。
• 要实现等待当前任务完成，必须在容器内的应用里做处理：应用收到SIGHUP后，标记“即将关闭/重载”，不再接受新任务，等正在执行的任务全部完成后再执行重载或退出操作。

4. 推荐方案（类似Nginx的优雅重载） #

如果你想要像Nginx那样不重启就生效配置，推荐以下流程：

步骤1：修改容器内应用，支持SIGHUP重载配置 #

按照上面的示例代码，让应用在收到SIGHUP时重新读取配置文件，无需重启。

步骤2：修改外部监控脚本，触发容器内的SIGHUP信号 #

不需要重启容器，而是给容器发送SIGHUP信号：

# 修改process_containers函数，只给目标容器发SIGHUP
def process_containers():
    try:
        client = docker.from_env()
        # 只找到myapp容器
        container = client.containers.get("myapp")
        LOGGER.info(f"Sending SIGHUP to container {container.name}")
        container.kill(signal="SIGHUP")  # 发送SIGHUP信号
    except Exception as ex:
        LOGGER.error("Exception Occurred during config update", exc_info=True)

步骤3：确保监控的是正确的配置文件 #

当前脚本监控的是/config_updates/app-config-updates.json，但实际需要监控的是./app_config.ini（你的卷挂载文件），修改watch_for_changes的路径：

def watch_for_changes():
    path_to_watch = "./app_config.ini"  # 改为实际的配置文件路径
    LOGGER.info(f"Watching for changes in {path_to_watch}")
    for changes in watch(path_to_watch):
        sighup_handler(signal.SIGHUP, None)

备选方案：如果必须重启容器 #

如果应用无法修改（比如依赖第三方库不支持动态配置），需要实现优雅重启：

• 在容器内应用中处理SIGTERM信号，确保当前任务完成后再退出。
• 外部脚本触发容器重启时，Docker会先发送SIGTERM，应用在信号处理器中完成任务后退出，Docker再启动新容器。
• 注意：这种方式会有短暂的服务中断，不如重载配置优雅。

内容的提问来源于stack exchange，提问作者SRK