Azure环境下PySpark转换CSV为DataFrame时遇UnicodeEncodeError错误求助

你遇到的问题根源是CSV文件里包含了非ASCII字符（比如报错里的\u2026就是中文里常见的省略号），而默认的文件读取方式用了ASCII编码，导致无法处理这些特殊字符。下面给你两种解决方案，优先推荐第一种更简洁可靠的方式：

方案1：直接使用SparkSession的CSV读取器（强烈推荐） #

手动用RDD处理CSV很容易踩编码的坑，Spark官方已经提供了封装好的CSV读取API，默认支持UTF-8，还能自动处理表头，代码更简洁也更稳定：

from pyspark.sql import SparkSession

# 初始化SparkSession（如果环境里还没初始化的话）
spark = SparkSession.builder.appName("CSVToDataFrame").getOrCreate()

# 读取CSV文件，指定表头、编码和自动推断列类型
data_1 = spark.read.csv(
    "path to my container/myfile.csv",
    header=True,        # 将文件第一行识别为表头
    inferSchema=True,   # 自动推断每列的数据类型（可选，按需开启）
    encoding="UTF-8"    # 指定文件编码，确保能解析非ASCII字符
)

data_1.show(5)

这个方法会帮你自动完成表头过滤、编码适配等工作，比手动操作RDD省心太多，也能避免很多编码相关的低级错误。

方案2：如果一定要用RDD方式处理 #

如果因为特殊需求必须用RDD来处理，那一定要在读取文件时明确指定正确的编码（比如UTF-8），打破ASCII编码的限制：

import csv

# 读取文件时指定UTF-8编码，避免ASCII编码无法解析特殊字符
read_rdd = sc.textFile("path to my container/myfile.csv", encoding="UTF-8")

# 注意：Python3中csv.reader处理已编码的字符串行时，不需要额外指定encoding
intermediate_rdd = read_rdd.mapPartitions(lambda x: csv.reader(x, delimiter=","))

header = intermediate_rdd.first()
data_1 = intermediate_rdd.filter(lambda row: row != header).toDF(header)
data_1.show(5)

错误原因补充说明 #

你原来的代码没有指定文件编码，Spark的sc.textFile默认会采用系统默认编码（很多服务器环境下默认是ASCII），当CSV里出现像\u2026这类超出ASCII范围的字符时，就会触发UnicodeEncodeError。只要读取时明确指定UTF-8（或者文件实际使用的编码），就能解决这个问题。

额外提醒：如果你的CSV文件用的是其他编码（比如GBK、GB2312），记得把encoding参数改成对应的编码值。

内容的提问来源于stack exchange，提问作者Abhinandan Srivastava