Apache Storm本地集群可用org.apache.http依赖，为何正式集群报类找不到错误？

核心原因 #

本地运行时，Maven会自动将项目依赖（包括间接依赖）加入运行环境的Classpath，因此能找到org.apache.http.client.HttpClient类；但提交到Storm集群时，默认打包的Jar仅包含你的业务代码，未包含HTTP客户端相关依赖，导致集群Worker节点的Classpath中缺失该类，触发NoClassDefFoundException。

具体解决方案 #

1. 添加HTTP客户端依赖到pom.xml #

你的pom.xml未显式声明Apache HttpClient依赖，需补充：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version> <!-- 与Storm 2.1.1兼容的稳定版本 -->
</dependency>

注：版本需与Storm集群环境依赖版本匹配，避免冲突。

2. 配置Maven打包插件，将依赖打入Jar #

默认Maven Jar插件仅打包自身代码，需用maven-shade-plugin将所有依赖合并到一个可执行Jar中。在pom.xml的<build>节点下添加：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.4</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>twitterTopology</mainClass> <!-- 指定拓扑主类 -->
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

3. 重新打包并提交集群 #

执行Maven打包命令：

mvn clean package

将生成的target/twitter2-1.0-shaded.jar（或对应名称的shaded Jar）提交到集群：

storm jar target/twitter2-1.0-shaded.jar twitterTopology

额外说明 #

• 本地模式下，Storm LocalCluster复用本地Maven依赖环境，无需额外打包依赖；但集群模式下，每个Worker是独立JVM进程，必须确保所有依赖包含在提交Jar中，或已预先部署到集群节点Classpath。
• 若集群已全局部署Apache HttpClient，可将依赖scope设为provided，但不推荐，易引发版本冲突。

内容的提问来源于stack exchange，提问作者jmuth