如何在GKE集群的Jupyter Notebook中配置mrjob连接Hadoop？

核心问题分析 #

你当前的mrjob.conf配置存在几个关键错误：

• PATH中的<pod name>是无效路径，Jupyter Pod无法通过Pod名称直接访问其他Pod内的文件系统
• 未正确指向Hadoop二进制文件所在的bin目录（Hadoop二进制通常存放在/opt/hadoop/bin）
• 缺少HADOOP_HOME环境变量配置，mrjob依赖该变量识别Hadoop环境

分步解决方案 #

1. 修正mrjob.conf配置 #

创建或修改mrjob.conf，补充必要的环境变量和Hadoop集群地址（使用GKE集群内的Hadoop服务名而非Pod名称，避免Pod重启导致地址失效）：

runners:
  hadoop:
    cmdenv:
      HADOOP_HOME: /opt/hadoop
      PATH: "$PATH:/opt/hadoop/bin"
    hadoop_bin: /opt/hadoop/bin/hadoop
    namenode: hdfs://hadoop-namenode:9000  # 替换为你的Hadoop namenode服务名和端口
    resource_manager: yarn://hadoop-resourcemanager:8032  # 替换为你的ResourceManager服务名和端口

提示：hadoop-namenode和hadoop-resourcemanager是Hadoop集群在GKE命名空间内的Service名称，可通过kubectl get svc -n <你的命名空间>查看实际名称。

2. 确认Jupyter与Hadoop的网络连通性 #

• 确保Jupyter Pod与Hadoop Pod处于同一GKE命名空间
• 在Jupyter Notebook的终端中执行以下命令，测试能否解析Hadoop服务名：

  nslookup hadoop-namenode
  

  若能正常返回Service的ClusterIP，说明网络连通性正常。

3. 验证Hadoop命令可用性 #

在Jupyter终端中直接调用Hadoop完整路径测试：

/opt/hadoop/bin/hadoop version

若能返回Hadoop版本信息，说明二进制文件可正常访问；若报错，需检查Hadoop Pod的PersistentVolume是否正确共享，或确认Jupyter Pod是否有权限访问该存储资源。

4. 运行mrjob任务时指定配置文件 #

在Jupyter Notebook中运行mrjob任务时，通过-c参数指定配置文件：

from mrjob.job import MRJob

class MyMRJob(MRJob):
    def mapper(self, _, line):
        # 自定义mapper逻辑
        pass

    def reducer(self, key, values):
        # 自定义reducer逻辑
        pass

if __name__ == '__main__':
    MyMRJob.run(args=['-c', 'mrjob.conf', 'hdfs://hadoop-namenode:9000/input/path'])

额外注意事项 #

• 若Hadoop集群启用Kerberos认证，需在mrjob.conf中补充kerberos_principal、kerberos_keytab等配置项
• 确保Jupyter Pod的服务账号拥有HDFS读写、YARN任务提交的权限

内容的提问来源于stack exchange，提问作者Thisara Watawana