Mapper类静态字段引发NullPointerException问题求助

在MapReduce架构中，提交作业的Driver客户端进程与运行Mapper的Task节点进程是完全独立的JVM实例。你在Driver里调用MyMapper.config(parser)仅初始化了本地JVM内的静态字段，而Task节点上的Mapper类会被重新加载，客户端设置的静态状态不会被传递过去，因此运行时parser字段为null，触发空指针异常。

方法1：通过Configuration传递初始化参数 #

如果StringParser支持通过配置参数初始化，将所需参数存入Job的Configuration，在Mapper的setup()方法中完成初始化：

修改Mapper代码：

public class MyMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> {

  private StringParser parser;

  @Override
  protected void setup(Context context) throws IOException, InterruptedException {
    super.setup(context);
    Configuration conf = context.getConfiguration();
    // 从配置中读取初始化parser的参数
    String parserInitParam = conf.get("my.parser.init.param");
    // 初始化parser
    this.parser = new StringParser(parserInitParam);
  }

  @Override
  protected void map(LongWritable key, Text value, Context context)
      throws IOException, InterruptedException {
    String lineValue = value.toString();
    String output;
    try {
      output = parser.parse(lineValue); 
      context.write(new ImmutableBytesWritable(...), new Put(...));
    } catch (ParseException e) {
      e.printStackTrace();
    }
  }
}

修改Driver代码，将参数存入配置：

// 替换原有的MyMapper.config(parser);
conf.set("my.parser.init.param", "这里传入初始化parser需要的参数");
Job job = Job.getInstance(conf, "Batch Import HBase Table：" + tableName);
// 后续代码保持不变

方法2：使用DistributedCache加载外部资源（适用于parser依赖外部文件的场景） #

如果StringParser需要依赖外部配置文件或资源，可通过DistributedCache将资源分发到所有Task节点：

1. Driver中添加资源到分布式缓存：

// 将配置文件上传到HDFS后，添加到缓存（#后的是本地别名）
job.addCacheFile(new URI("hdfs://path/to/parser/config.xml#parser-config.xml"));

2. Mapper的setup()方法中读取资源并初始化：

@Override
protected void setup(Context context) throws IOException, InterruptedException {
  super.setup(context);
  // 读取分布式缓存中的文件
  File configFile = new File("parser-config.xml");
  this.parser = new StringParser(configFile);
}

• MapReduce的Task进程与Driver进程完全隔离，静态字段、实例变量无法跨进程共享。
• 所有需要传递给Task的配置或资源，必须通过Configuration或DistributedCache完成。
• 避免在Mapper/Reducer中使用静态字段存储运行时状态，除非是无状态的工具类。

内容的提问来源于stack exchange，提问作者Dilibaba