Zeppelin 0.9运行作业报错core-site.xml未找到,HADOOP_CONF_DIR应在哪配置
Apache Zeppelin 0.9版本HADOOP_CONF_DIR配置生效位置说明
该报错是因为Zeppelin运行作业的解释器环境与主守护进程的环境变量相互隔离,未加载到Hadoop配置目录的环境变量,可按需选择以下任意一种方式配置HADOOP_CONF_DIR:
全局生效配置
修改Zeppelin安装目录下的conf/zeppelin-env.sh文件(若初始只有zeppelin-env.sh.template,需先重命名为zeppelin-env.sh),在文件末尾添加如下内容:export HADOOP_CONF_DIR=/etc/hadoop/conf/配置完成后重启整个Zeppelin服务即可,该配置对所有解释器生效。
仅Spark解释器生效配置
登录Zeppelin前端页面,点击右上角用户名 → 选择Interpreter选项 → 找到Spark解释器配置板块,点击edit,在Environment variables区域新增配置项:键为HADOOP_CONF_DIR,值为/etc/hadoop/conf/,保存后重启Spark解释器即可,无需重启Zeppelin主服务。单笔记本临时生效配置
在目标笔记本的首个代码块开头指定%spark.conf解释器,写入如下配置:spark.hadoop.hadoop.conf.dir /etc/hadoop/conf/该配置仅对当前笔记本生效,无需重启任何服务。
配置验证方式:在对应笔记本中运行如下代码,输出
/etc/hadoop/conf/即为配置生效println(System.getenv("HADOOP_CONF_DIR"))
内容的提问来源于stack exchange,提问作者Fauziah Mahmod
相关产品推荐
相关产品推荐

