Gitlab CI如何从预构建镜像缓存node_modules?
首先得搞清楚你之前的cacheE2eDeps任务为什么会报错:GitLab CI的缓存路径是相对于当前Job的工作目录(默认是/builds/<group>/<project>)的,而你的预构建镜像里的node_modules是在镜像根目录/下(因为Dockerfile里没设置WORKDIR,COPY . .和yarn install都是在根目录执行的),所以CI找不到./node_modules这个路径,自然报“no matching files”的警告。
下面给你两种更优雅的解决方案,都能利用GitLab CI的缓存机制:
方案一:将镜像中的node_modules复制到CI工作目录后缓存
调整你的cacheE2eDeps任务,先把镜像根目录下的node_modules复制到CI的工作目录,再让GitLab缓存这个目录:
cacheE2eDeps: image: path/to/prebuiltImg stage: dependencies cache: key: e2eDeps paths: - node_modules/ script: # 把镜像根目录的node_modules复制到当前CI工作目录 - cp -r /node_modules ./node_modules - echo "E2E dependencies cached successfully" testsE2e: image: path/to/prebuiltImg stage: tests cache: key: e2eDeps # 只拉取缓存,避免测试任务意外修改缓存 policy: pull script: - yarn test:e2e - yarn test:e2e:report
这里给testsE2e的cache加上policy: pull是个好习惯,因为测试任务不需要修改node_modules,只需要读取,这样能避免缓存被意外污染。
方案二:优化Dockerfile,让node_modules默认在CI工作目录
如果你能修改预构建镜像的Dockerfile,可以提前把node_modules放到GitLab CI默认的工作目录结构下(不过这个方案的灵活性稍差,因为不同项目的CI工作目录前缀可能不同):
修改Dockerfile:
FROM cypress/browsers:node13.8.0-chrome81-ff75 # 创建GitLab CI的默认工作目录(替换成你项目实际的路径,比如/builds/your-group/your-project) RUN mkdir -p /builds/your-group/your-project WORKDIR /builds/your-group/your-project COPY . . RUN yarn install
然后你的缓存配置就可以直接用原来的写法了,因为node_modules已经在CI工作目录下,GitLab能直接找到并缓存。
额外建议
为了避免镜像更新后缓存不匹配的问题,可以给缓存key加上镜像的版本标签,比如:
cache: key: e2eDeps-${CI_COMMIT_REF_SLUG}-v1.0.0 # v1.0.0是你的镜像版本号
这样当你更新预构建镜像时,只要修改key里的版本号,GitLab就会重新生成新的缓存,不会和旧缓存混淆。
对比你原来的软链接方案,用GitLab CI缓存的好处是:当缓存命中时,不需要每次执行链接操作,而且缓存可以在不同的Runner之间共享(如果用了分布式缓存的话),进一步提升执行速度。
内容的提问来源于stack exchange,提问作者Joulss

