Docker部署Logstash时第三方Ruby Gem引发启动失败的生产环境解决办法

我有一个依赖第三方Ruby Gem的Ruby脚本，用于Docker构建的Logstash的filter环节。采用Logstash基础镜像，Dockerfile内容如下：

FROM .../logstash:7.16.2

RUN /usr/share/logstash/bin/ruby -S gem install *gem*

RUN echo "gem '*gem*'" >> /usr/share/logstash/Gemfile

这是我找到的能在Logstash filter的Ruby脚本中使用这些Gem的方案，但运行镜像时出现如下错误：

[Fatal] Logstash-Logstash was unable to start due to an unexpected Gemfile change.
If you are a user this is a bug.
If you are a logstash developer, please try restarting logstash with the '--enable-local-plugin-development' flag set.

本地运行时，在docker run命令后追加--enable-local-plugin-development能正常启动：

docker run my-image-build --enable-local-plugin-development

但部署到开发/生产环境时该方法无效，Pod日志仍报相同致命错误。已知该flag仅用于开发场景，且不清楚如何在生产环境的docker run命令中追加该flag。请问如何修复此问题以在开发/生产环境中使用该脚本？我的Gem安装方式是否存在问题？

解决方案 #

你的Gem安装方式确实存在问题——直接修改Logstash官方自带的Gemfile会触发其完整性校验机制，导致生产环境启动报错。下面是两种适合生产环境的正确做法：

方法1：使用自定义Gem目录加载依赖 #

Logstash允许通过指定自定义Gem目录来加载第三方依赖，无需修改官方Gemfile：

1. 修改Dockerfile，将Gem安装到自定义目录并配置环境变量：

FROM .../logstash:7.16.2

# 创建本地Gem存储目录
RUN mkdir -p /usr/share/logstash/local-gems
# 将Gem安装到自定义目录
RUN /usr/share/logstash/bin/ruby -S gem install *gem* --install-dir /usr/share/logstash/local-gems
# 设置GEM_PATH，让Logstash能找到本地Gem
ENV GEM_PATH="/usr/share/logstash/local-gems:/usr/share/logstash/vendor/bundle/jruby/2.5.0"

2. 在你的Ruby filter脚本开头添加加载路径（替换*gem*-x.x.x为实际的Gem版本目录）：

$LOAD_PATH.unshift('/usr/share/logstash/local-gems/gems/*gem*-x.x.x/lib')
require '*gem*'

方法2：打包成标准Logstash插件（推荐生产环境） #

把你的Ruby脚本和依赖Gem打包成官方规范的Logstash插件，从根本上避免Gemfile校验问题：

1. 用Logstash插件生成器创建插件骨架（本地执行，无需在镜像中操作）：

logstash-plugin generate --type filter --name my_custom_filter --path ./my-plugin

2. 在插件目录的my_custom_filter.gemspec文件中添加第三方Gem依赖：

s.add_runtime_dependency '*gem*', '~> x.x.x' # 替换为实际的Gem版本号

3. 构建插件包：

cd ./my-plugin
gem build my_custom_filter.gemspec

4. 在Dockerfile中安装自定义插件：

FROM .../logstash:7.16.2

# 复制构建好的插件包到镜像中
COPY my_custom_filter-x.x.x.gem /tmp/
# 安装自定义插件
RUN /usr/share/logstash/bin/logstash-plugin install /tmp/my_custom_filter-x.x.x.gem

原方法失效的原因 #

Logstash对自带的Gemfile和Gemfile.lock有严格的完整性校验，任何非官方的修改都会触发启动报错。--enable-local-plugin-development参数是用来跳过该校验的开发专用开关，生产环境下Logstash会强制启用校验，所以这个参数在生产环境完全无效。

内容的提问来源于stack exchange，提问作者4cody