Spark最简rdd.map场景出现ClassNotFoundException,非重复依赖问题
针对问题的澄清与疑问
我需要明确说明:我的问题绝非《解决Apache Spark中的依赖问题》的重复问题,之前给出的那些通用代码共享类答案,完全和我的实际场景不沾边,我实在搞不懂它们和我的问题有什么关联。
我的具体情况如下:
- 并未使用
spark-submit提交任务,而是直接在本地运行的应用里调用Spark - 不存在任何依赖缺失或冲突的问题
- 我代码里唯一涉及的核心逻辑就是一个极简的匿名函数:
i => i
现在我最困惑的点在于:如果问题真的是Spark/Java/Scala版本不兼容导致的,我实在无法理解——为什么这么简单的i => i函数会触发ClassNotFoundException?
内容的提问来源于stack exchange,提问作者Juh_
相关产品推荐
相关产品推荐

