Jupyter Notebook中无法启动Spark Session问题求助

• 检查本地资源占用：Spark local模式会占用本地CPU和内存，打开任务管理器（Windows）或top（Linux/macOS）查看CPU、内存是否被其他进程耗尽。资源不足时，Spark会持续等待可用资源，导致启动卡住。
• 查看Spark初始化日志：Spark启动过程会生成日志文件，默认存储在系统临时目录或配置的日志路径中（文件名通常以spark-开头）。查看日志内容，排查是否存在依赖加载失败、端口占用、权限不足等异常信息，日志往往能提供关键线索。
• 限制local模式的资源使用：默认local模式会使用所有可用CPU核心，可改为指定核心数，比如将代码中的master("local")替换为master("local[2]")，减少资源竞争，避免因资源过度占用导致启动缓慢。
• 验证Python与Spark版本兼容性：PySpark对Python版本有明确要求，例如Spark 3.x系列通常兼容Python 3.6至3.9版本。版本不匹配可能引发底层初始化逻辑异常，导致进程无响应。
• 清理Spark临时缓存文件：Spark启动时会在系统临时目录（如/tmp）生成缓存文件，若文件损坏可能影响启动流程。删除所有Spark相关的临时文件后，重新运行代码尝试启动。
• 检查本地网络与主机名配置：Spark初始化时可能会解析主机名或绑定网络接口，若/etc/hosts（Linux/macOS）或本地主机名配置错误，会导致启动卡住。执行ping localhost验证本地解析是否正常，确保主机名能正确映射到127.0.0.1。

内容的提问来源于stack exchange，提问作者Harsh Shukla