Bluemix Analytics Engine中spark-submit无法连接Spark节点求助
我之前也碰到过类似的情况,当用bx ae spark-submit提交Java Spark应用到IBM Analytics Engine时,经常会因为用户权限、Jar包路径或者CLI配置的问题导致报错,尤其是你这种错误信息截断的情况,大概率是配置或者权限验证环节出了问题。下面给你几个排查和解决的方向:
检查用户身份验证状态
错误里提到"Current user is 'cls...",说明CLI在尝试验证用户身份时可能出现了截断或者未完全通过验证。先重新登录Bluemix CLI,确保身份会话有效:bx login登录后还要确保目标组织和空间是正确的:
bx target --cf选择对应的组织和空间后,再重新执行spark-submit命令。
确认Jar包路径与命令格式
你执行命令的路径是C:\Users\IBM_ADMIN\eclipse-workspace\mySparkApp\target,要确保这个路径下确实存在mySparkApp-0.0.1-SNAPSHOT.jar。另外,--className参数要确保是完整的类路径——如果你的Main类在某个包下,比如com.myspark,那应该写成--className com.myspark.mySparkApp.Main,不要漏掉包名。增加日志级别,获取完整错误信息
当前错误信息被截断了,没法看到完整的报错原因,可以在spark-submit命令里加上--verbose参数来获取详细输出:bx ae spark-submit --verbose --className mySparkApp.Main mySparkApp-0.0.1-SNAPSHOT.jar完整的错误日志能帮你更快定位到核心问题,比如依赖缺失、权限不足还是服务连接异常。
检查Analytics Engine服务的权限配置
确保你当前登录的用户拥有Analytics Engine服务的操作权限,比如Spark Job Submitter角色。可以在Bluemix控制台的服务访问控制页面里确认用户角色是否正确配置。验证CLI工具版本
旧版本的bx ae插件可能存在兼容性问题,先检查插件版本:bx plugin list如果版本较旧,更新插件后再尝试提交:
bx plugin update ae
内容的提问来源于stack exchange,提问作者Manoj K Sardana

