PySpark从RDD中选取单个元素时报SyntaxError语法错误如何解决

该语法错误由Python版本特性差异导致：Python 2.x 支持lambda参数列表直接进行元组解包，你编写的lambda (key,index) : index == 1是Python 2的合法语法，但Python 3.x 已经完全移除了lambda参数的元组解包特性，运行时就会抛出SyntaxError: invalid syntax。

• 方案1：调整lambda参数写法，通过下标访问元组元素
  调整后代码如下：

c2.zipWithIndex().filter(lambda x: x[1] == 1).collect()

其中x是zipWithIndex()返回的(原元素, 索引)格式的元组，x[1]对应你需要判断的索引值。

• 方案2：使用普通函数替代lambda，提升代码可读性

def filter_index_one(item):
    key, index = item
    return index == 1

c2.zipWithIndex().filter(filter_index_one).collect()

• 额外优化：如果你只需要获取索引为1的单个元素，不需要调用collect()拉取整个过滤结果集，可以替换为first()方法，减少不必要的数据传输：

c2.zipWithIndex().filter(lambda x: x[1] == 1).first()

内容的提问来源于stack exchange，提问作者lpad ze