PySpark中SqlContext导入、parallelize及DataFrame创建报错求助

问题1：parallelize() 提示缺少位置参数 'c' #

你写的代码：

line = "Hello, world" sc.parallelize(list(line)).collect()

出现 TypeError: parallelize() missing 1 required positional argument: 'c'，这是基础语法错误导致的——你把两个独立的Python语句挤在了同一行，却没有用分号分隔，也没有换行。Python解析器会错误地把整行当成一个表达式，导致sc.parallelize被误判成需要额外参数的函数调用，而非SparkContext实例的方法。

修复方法： #

把代码拆成两行（可读性更好，推荐）：

line = "Hello, world"
sc.parallelize(list(line)).collect()

或者在同一行用分号分隔两个语句：

line = "Hello, world"; sc.parallelize(list(line)).collect()

这样Python就能正确识别sc是你的SparkContext实例，parallelize方法也能正常接收list(line)作为参数了。

问题2：单列字符串列表创建DataFrame异常 #

你的代码片段：

from pyspark.sql.types import * from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
schema = StructType([StructField("name", StringType(), True)])
df3 = sqlContext.createDataFrame(fuzzymatchIntro, schema)
df3.printSchema()

首先存在语法问题：两个import语句写在同一行没分隔，Python无法正确解析。另外，createDataFrame的输入格式不符合要求——如果fuzzymatchIntro是单纯的字符串列表（比如["Alice", "Bob", "Charlie"]），Spark无法直接把单个字符串映射到你定义的单列结构，因为每个输入元素需要对应一行的所有列（这里是1列），所以得把每个字符串包装成元组或列表。

修复步骤： #

1. 修正import语句格式，分开写更清晰：

from pyspark.sql.types import *
from pyspark.sql import SQLContext

2. 调整输入数据的格式，把每个字符串包装成单个元素的元组：

# 假设fuzzymatchIntro是字符串列表，转成元组列表
data = [(item,) for item in fuzzymatchIntro]
df3 = sqlContext.createDataFrame(data, schema)

3. （可选优化）如果你用的是Spark 2.0及以上版本，更推荐用SparkSession替代SQLContext，代码更简洁：

from pyspark.sql import SparkSession
from pyspark.sql.types import *

spark = SparkSession.builder.getOrCreate()
schema = StructType([StructField("name", StringType(), True)])
data = [(item,) for item in fuzzymatchIntro]
df3 = spark.createDataFrame(data, schema)
df3.printSchema()

这样就能正确创建符合预期结构的DataFrame了。

内容的提问来源于stack exchange，提问作者A.Dorra