PySpark连接两个RDD时出现UnicodeEncodeError错误求助

看起来你遇到的核心问题是数据中的非ASCII字符（比如版权符号©，对应编码\xa9）在处理过程中触发了ASCII编码失败，而且你之前尝试的字符串拼接方法完全用错了方向——因为table1和table2是RDD对象，不是普通Python字符串，直接用join操作它们只会拼接对象的字符串表示，根本碰不到实际数据。

下面是分步解决思路：

1. 从根源解决：读取数据时指定UTF-8编码 #

PySpark的textFile默认会依赖系统编码读取文件，而你的数据里包含非ASCII字符，所以第一步要确保读取时就用UTF-8解析：

import csv
# 读取文件时显式指定encoding='utf-8'
table1 = sc.textFile('inventory', encoding='utf-8') \
           .map(lambda line: next(csv.reader([line]))) \
           .map(lambda fields: ((fields[0], fields[8], fields[10]), 1))

同样的，table2的读取也需要做相同的编码指定，避免数据在读取阶段就出现编码混乱。

2. 使用正确的RDD连接/合并操作 #

你之前的u' '.join((table1, table2))完全错误，因为这是把两个RDD对象转换成字符串（比如<pyspark.rdd.RDD object at 0xxxxx>），和实际数据无关。根据你的需求选择对应的RDD操作：

• 如果是按键关联两个RDD（比如类似SQL的JOIN）：

  # 假设table2的结构也是((key1, key2, key3), value)
  table3 = table1.join(table2)
  

• 如果是合并两个结构相同的RDD（比如类似SQL的UNION）：

  table3 = table1.union(table2)
  

3. 确保输出/打印时的编码支持 #

如果后续需要输出结果到文件或控制台，也要指定UTF-8编码：

• 保存到文件：

  table3.saveAsTextFile('output_result', encoding='utf-8')
  

• 在Python控制台打印时，确保终端支持UTF-8，或者在脚本开头设置默认编码（Python2环境下）：

  import sys
  reload(sys)
  sys.setdefaultencoding('utf-8')
  

  Python3环境下无需reload(sys)，直接确保sys.stdout.encoding为UTF-8即可。

4. 可选：检查并清洗含特殊字符的数据 #

如果还是有问题，可以先定位数据中包含非ASCII字符的记录，确认是否需要清洗：

# 筛选table1中包含非ASCII字符的记录，查看具体内容
table1.filter(lambda x: any(ord(c) > 127 for c in str(x))).take(5)

内容的提问来源于stack exchange，提问作者Gideok Seong