Spark中可否不使用SQL仅通过Spark Core读取数据并执行查询操作

完全可以仅通过Spark Core的RDD API实现CSV读取及select、count、group by等所有常规查询操作，不需要依赖pyspark.sql模块。

Spark Core是整个Spark生态的底层核心，Spark SQL本质是在RDD之上做的结构化封装，网上参考资料大多用Spark SQL实现，只是因为SQL API对结构化数据的开发效率更高、内置优化更完善，不代表Spark Core本身不具备独立处理这类需求的能力。

用Spark Core处理CSV的本质是将文件作为普通文本读入RDD后，手动完成格式解析、字段提取、聚合计算等步骤，这些步骤在Spark SQL中是引擎自动完成的：

• 读取文件：通过SparkContext的textFile()方法加载CSV文件，得到存储每行文本字符串的RDD
• 预处理：先提取首行表头，再过滤掉表头行得到纯数据RDD
• 字段解析与select：按CSV的分隔规则拆分每行文本，按需选取指定列、转换字段对应数据类型，即可实现select的效果
• 聚合计算：直接调用RDD原生的转换、行动算子，就能实现count、group by等查询逻辑

以下是纯RDD实现的可运行代码示例：

from pyspark import SparkConf, SparkContext

# 初始化Spark Core核心上下文
conf = SparkConf().setAppName("CoreCSVProcess").setMaster("local[*]")
sc = SparkContext(conf=conf)

# 替换为你的CSV文件路径
csv_path = "test.csv"
# 1. 读取CSV文本数据
raw_rdd = sc.textFile(csv_path)
# 提取表头并过滤
header_line = raw_rdd.first()
data_rdd = raw_rdd.filter(lambda line: line != header_line)

# 2. 解析数据 + select指定字段：示例选取第0列用户ID、第2列消费金额，做类型转换
# 简单无特殊字符的CSV可直接按逗号拆分
parsed_rdd = data_rdd.map(lambda line: line.split(","))\
                     .map(lambda cols: (cols[0].strip(), float(cols[2].strip())))

# 3. count操作：统计总记录数
total_cnt = parsed_rdd.count()
print(f"总记录数：{total_cnt}")

# 4. group by操作：按用户ID分组，统计每个用户的累计消费金额
user_total_cost = parsed_rdd.groupByKey()\
                            .mapValues(lambda cost_list: sum(cost_list))
# 打印前10条结果
for res in user_total_cost.take(10):
    print(res)

sc.stop()

注意：如果你的CSV字段存在引号包裹、字段内含逗号/换行符等特殊格式，不要直接用split(",")做拆分，可以在map阶段引入Python标准库的csv模块对单行文本做解析，避免字段拆分错误。

内容的提问来源于stack exchange，提问作者user1535147