unRAID下用Docker运行NodeJS脚本,如何避免改代码需重建容器?
针对你当前Docker化Node爬虫的优化方案
核心优化思路
你现在的痛点本质是把“几乎不变的运行依赖”和“经常修改的业务代码”打在了同一个镜像层里,导致只要动一下代码,整个镜像的构建缓存就失效了。最优解法是把镜像和业务代码完全解耦:镜像只负责固化好Node运行环境、预装好所有第三方依赖,平时改的脚本、存的爬取数据全部放在宿主机上,通过卷直接映射进容器,根本不需要为了改代码反复构建镜像。
第一步:重构Dockerfile
调整原有的Dockerfile,把不需要变动的内容留在镜像层,移除原有的业务代码COPY逻辑,最大化Docker分层缓存的效率:
FROM node:12.9.1 # 提前创建工作目录与持久化目录,调整权限避免以root身份运行脚本 RUN mkdir -p /home/node/app /home/node/saves && chown -R node:node /home/node WORKDIR /home/node/app # 先单独复制依赖清单,只要package.json/package-lock.json没有变动,后续依赖安装层就会命中缓存 COPY --chown=node:node package*.json ./ # 预装生产环境依赖,这一层是镜像的核心,几乎不会需要重新构建 RUN npm install --production # 注意:这里不再COPY app.js,业务代码全部通过卷挂载传入 USER node # 默认启动命令 CMD ["node", "app.js"]
第二步:调整容器启动命令
注意:千万不要直接把宿主机的整个scraper目录直接挂载到容器的工作目录,Docker的卷挂载会直接覆盖容器内对应路径的原有文件,会把镜像里预装好的node_modules目录给冲掉,导致容器启动时报依赖找不到的错误,一定要拆分单独的挂载项。
调整后的启动命令完全可以实现代码修改即时生效、数据持久化的需求:
docker run --net=bridge -h scraper --name scraper -d \ # 以只读模式挂载宿主机上的业务代码,修改后重启容器即可生效 -v /mnt/user/scripts/scraper/app.js:/home/node/app/app.js:ro \ # 挂载爬取数据的持久化目录 -v /mnt/user/scripts/scraper/saves:/home/node/app/saves \ scraper
日常使用效率优化
- 平时修改
app.js的逻辑(比如新增爬取站点),只需要保存宿主机上的文件,重启对应的scraper容器即可,全程不需要重建镜像、删除旧容器,整个过程仅需几秒钟 - 只有当你修改了
package.json(比如新增第三方依赖包)的时候,才需要重新构建一次镜像,这类操作本身频率极低 - 如果你的脚本本来就需要每3分钟定时运行一次,可以把Dockerfile里的启动命令改成循环执行模式,容器启动后自动按周期跑脚本,连手动重启容器的步骤都可以省略:
CMD ["sh", "-c", "while true; do node app.js; sleep 180; done"]
关于你之前考虑的两个替代方案
- 每次运行都执行
npm install的方案确实会造成资源浪费,但我们的方案把依赖预装在了镜像层,容器启动后直接调用镜像内已经装好的依赖,完全不需要重复安装,避开了这个问题 - 把配置文件存储在宿主机、让脚本读取的方案本身并不是投机拼凑,这是容器化应用的标准配置管理方式。你完全可以把配置文件和
app.js存在同一个宿主机目录下,按需挂载进容器,不需要和saves目录绑定。
内容的提问来源于stack exchange,提问作者MortenMoulder
相关产品推荐
相关产品推荐

