使用PySpark RDD count操作统计Private Room时触发索引越界错误

你的问题核心是部分CSV行的列数不符合预期：

• take(20)仅读取前20条数据，恰好这些行格式完整，能正常通过索引访问目标列；
• count需要遍历所有数据，当遇到残缺行、空行，或者包含转义逗号（比如被引号包裹的逗号）的行时，split(',')分割后的列数会少于你代码中指定的索引位置，触发List index out of range错误。

推荐两种方案，优先用第一种（更稳定）：

方案1：使用PySpark DataFrame读取CSV（推荐） #

PySpark内置的CSV读取器会自动处理转义字符、换行、列数不一致等问题，比手动split更可靠：

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("CountPrivateRoom").getOrCreate()

# 读取CSV，header=True表示第一行是列名，根据实际情况调整参数
df = spark.read.csv("你的文件路径.csv", header=True, inferSchema=True)

# 假设目标列名为room_type，过滤后统计数量
private_room_count = df.filter(df.room_type == "Private Room").count()
print(private_room_count)

方案2：使用RDD并做数据校验 #

如果坚持用RDD，必须先过滤掉列数不足的行，同时推荐用专业CSV解析器处理转义情况：

import csv
from io import StringIO
from pyspark import SparkContext

sc = SparkContext(appName="CountPrivateRoomRDD")

def parse_csv_line(line):
    # 使用csv模块解析单行，处理转义逗号等特殊格式
    reader = csv.reader(StringIO(line))
    return next(reader)

rdd = sc.textFile("你的文件路径.csv")
private_room_count = (
    rdd.map(parse_csv_line)
    # 过滤掉列数不足的行（假设目标列是第2列，索引为1）
    .filter(lambda row: len(row) >= 2)
    # 取出目标列并去除前后空格，避免匹配失败
    .map(lambda row: row[1].strip())
    # 过滤匹配目标字符串
    .filter(lambda x: x == "Private Room")
    .count()
)
print(private_room_count)

内容的提问来源于stack exchange，提问作者Hariharan