如何将Spark DataFrame的FileName列转为列表（禁用collect操作）

错误原因分析 #

你碰到的local variable 'list' referenced before assignment错误，本质是内置函数被覆盖导致的：在你的代码上下文里，肯定不小心把list当成了普通变量来赋值（比如写过list = []或者list = some_data），这就把Python自带的list()构造函数给覆盖了，后面再调用它自然就会报错。

符合要求的解决方案 #

既然不能用collect()这类action，同时要避开内置list被覆盖的问题，直接用Pandas Series的tolist()方法就可以完美解决，代码如下：

fileNameList = filesNamesDF.select('FileName').toPandas()['FileName'].tolist()

为什么这个方案可行？ #

• tolist()是Pandas Series对象的原生方法，专门用来将Series转换为Python列表，完全不需要依赖可能被覆盖的内置list()函数；
• 没有使用collect()，满足你的限制条件；
• 代码逻辑清晰，和你原本的思路一致，只是把list(...)换成了更安全的.tolist()。

额外注意事项 #

如果你的DataFrame数据量很大，toPandas()会把所有数据拉到Driver节点的内存中，可能引发内存溢出问题。如果是这种场景，建议先对数据做过滤、采样等处理，再提取列表。另外，一定要记住不要用Python内置类型/函数名当变量名（比如list、str、dict这些），这是很容易踩的坑。

内容的提问来源于stack exchange，提问作者Pradeep