如何通过Apache Beam将含emoji的字符串正确写入BigQuery

该乱码问题本质是写入链路的字符编码不匹配导致：BigQuery默认使用UTF-8编码存储字符串，emoji属于4字节UTF-8字符，只要保证全链路没有误转码操作即可正常写入，具体操作如下：

• 校验DataFrame字符串列编码
  先确认目标列所有字符串为标准UTF-8编码，可执行一次强制编解码校验排除隐含编码错误：

  df['带emoji的列名'] = df['带emoji的列名'].str.encode('utf-8').str.decode('utf-8')
  

• 检查转dict环节参数
  调用df.to_dict('records')转换格式时，使用pandas默认参数即可，不要额外添加编码相关配置，避免字符串被自动转换为bytes类型。
• 调整BigQuery写入配置
  1. 对应emoji列的BigQuery表字段类型设置为STRING，不要使用BYTES类型，BigQuery新建表默认字符集为UTF-8，无需额外配置，存量表可自查确认字符集未被修改。
  2. 调用Beam的WriteToBigQuery方法时，不要额外添加自定义字符转码逻辑，直接传入原始Python字符串即可，Beam官方BQ连接器会默认按UTF-8编码处理字符串。
• 误编码场景兜底修复
  如果数据是从非UTF-8数据源读取生成的DataFrame，可对目标列执行转码修复：

  df['带emoji的列名'] = df['带emoji的列名'].apply(
      lambda x: x.encode('latin-1').decode('utf-8') if isinstance(x, str) else x
  )
  

内容的提问来源于stack exchange，提问作者m.k