GCP Dataproc环境下如何为Pyspark设置Jupyter默认非root用户

你在IPython配置文档中找不到对应方案是正常的，该配置属于Jupyter服务启动层面的参数，和IPython本身的运行配置无关，按以下步骤操作即可完成修改：

• SSH连接到Dataproc集群的主节点
• 打开Jupyter服务的systemd配置文件，默认路径为/usr/lib/systemd/system/jupyter.service
• 在配置文件中找到User=root和Group=root两个配置项，将取值替换为singhj，修改后对应配置如下：

  User=singhj
  Group=singhj
  

• 执行命令sudo systemctl daemon-reload重新加载systemd配置
• 执行命令sudo systemctl restart jupyter.service重启Jupyter服务使配置生效

配置验证 #

修改完成后回到Jupyter notebook界面，新建单元格执行!whoami，返回结果为singhj即代表修改成功，后续执行pip install相关命令时不会再触发root用户运行的警告。

注意事项 #

• 若你使用的是多主节点Dataproc集群，需要在所有主节点上执行上述修改操作
• 若需要在集群重建、重置后自动保留该配置，可将上述修改步骤封装为Dataproc初始化动作，集群创建时自动执行即可

内容的提问来源于stack exchange，提问作者singhj