从数据库生成报表时生产环境出现ASCII解码错误求助

这种带特殊字符的编码问题我之前踩过不少坑，虽然数据库编码一致，但问题大概率出在应用层或者系统环境的编码配置不匹配上，跟你梳理几个排查方向：

• 检查生产环境的Python默认编码（看错误信息应该是Python环境）
  本地环境可能默认已经是UTF-8，但生产服务器可能还在用老旧的ASCII默认编码。你可以在生产环境跑一行测试代码：

  import sys
  print(sys.getdefaultencoding())
  

  如果输出是ascii，解决办法：

  • 临时修复（Python2适用，Python3无需此步）：在代码开头添加

    import sys
    reload(sys)
    sys.setdefaultencoding('utf-8')
    

  • 永久修复：在启动脚本前设置环境变量

    export PYTHONIOENCODING=utf-8
    

• 确认数据库连接的编码参数
  哪怕数据库本身是utf8_general_ci，如果连接时没指定编码，驱动可能会用默认ASCII去解码数据。比如用MySQLdb连接时，一定要加上charset参数：

  import MySQLdb
  conn = MySQLdb.connect(
      host='your_host',
      user='your_user',
      passwd='your_pass',
      db='your_db',
      charset='utf8',
      use_unicode=True
  )
  

  其他数据库驱动（比如psycopg2、pymysql）也类似，要明确指定连接编码为UTF-8。

• 检查报表生成环节的编码设置
  生成报表时如果没有指定UTF-8编码，也会触发ASCII解码错误。比如：

  • 用pandas导出CSV：

    df.to_csv('report.csv', encoding='utf-8')
    

  • 用Jinja2渲染HTML报表：确保模板文件保存为UTF-8编码，渲染时指定编码：

    from jinja2 import Template
    template = Template(open('report_template.html', 'r', encoding='utf-8').read())
    html_content = template.render(data=data)
    with open('report.html', 'w', encoding='utf-8') as f:
        f.write(html_content)
    

• 排查系统Locale设置
  生产服务器的系统Locale如果是ASCII编码（比如C或POSIX），也会影响应用的默认编码。执行命令查看：

  echo $LANG
  

  如果不是类似es_ES.UTF-8或en_US.UTF-8的UTF-8 Locale，需要修改：

  • 临时生效：

    export LANG=en_US.UTF-8
    

  • 永久生效：编辑/etc/locale.conf文件，添加LANG=en_US.UTF-8，然后执行locale-gen（部分系统需要）。

既然你已经对比过查询结果，说明数据库里的数据是正常的，问题肯定出在数据从数据库取出后到报表生成的中间环节，编码解码的逻辑在本地和生产环境不一致。可以从上面几个方向逐一排查，应该能定位到问题。

内容的提问来源于stack exchange，提问作者plasmy