使用to_csv导出CSV含特殊字符，上传BigQuery失败求助

问题现象 #

从IRS网站下载非营利组织报税XML文件，转换为Pandas DataFrame后导出为CSV，上传BigQuery时触发特殊字符错误：

• Excel中每个单元格显示*，但编辑栏无该字符
• 使用Ctrl+F替换*会清空所有数据
• 文本编辑器打开CSV无异常

问题根源 #

XML文件中包含不可见控制字符（如NULL字符\x00、非标准空白字符等），这类字符在Excel中被替换为*显示，文本编辑器会自动忽略，但BigQuery对控制字符有严格校验，导致上传失败。

解决方案 #

1. 清理XML文本中的不可见控制字符 #

在读取XML元素文本时，过滤掉所有非打印字符（保留常规文本、空格、换行等）。

2. 优化CSV导出参数 #

确保导出CSV时使用正确编码（如utf-8-sig），避免编码问题引发的隐藏字符。

修改后的代码 #

创建元素列表

import xml.etree.ElementTree as ET

tree = ET.parse('/content/drive/MyDrive/XML Files/Scraped/202030509349200503_public.xml')
root = tree.getroot()
list_of_elements = []
for element in root.iter():
   list_of_elements.append(element.tag)

遍历XML并清理文本值

import os
import pandas as pd
import re

# 清理函数：移除不可见控制字符
def clean_text(text):
    if text is None:
        return ''
    # 保留可打印字符，移除其他控制字符
    return re.sub(r'[\x00-\x08\x0B\x0C\x0E-\x1F\x7F]', '', text)

xml_values = []
for filename in os.listdir('/content/drive/MyDrive/XML Files/Scraped'):
  if filename.endswith('.xml'):
    tree = ET.parse('/content/drive/MyDrive/XML Files/Scraped/' + filename)
    root = tree.getroot()
    values = []
    for element in root.iter():
      values.append(clean_text(element.text))
    xml_values.append(values)

生成DataFrame并导出CSV

xml_data = pd.DataFrame(xml_values)
xml_data.columns = list_of_elements

# 使用utf-8-sig编码导出，兼容Excel和BigQuery
xml_data.to_csv('irs_nonprofit_data_cleaned.csv', encoding='utf-8-sig', index=False)

可选方案：直接从XML导入BigQuery #

如果CSV中转仍有问题，可直接将处理后的DataFrame写入BigQuery，跳过CSV步骤：

from google.cloud import bigquery

client = bigquery.Client()
table_id = "your-project.your_dataset.your_table"

# 直接写入BigQuery
job = client.load_table_from_dataframe(xml_data, table_id)
job.result()  # 等待任务完成

内容的提问来源于stack exchange，提问作者Brock