PHP与MySQL环境下古吉拉特语浏览器渲染显示为问号的问题咨询

• 第一优先级检查数据库连接字符集
  绝大多数本地正常、线上乱码的问题都出在连接层，和库表字符集、排序规则无关：
  • 建立MySQL连接后，第一时间执行SET NAMES 'utf8mb4';，不要依赖数据库服务端的默认配置。古吉拉特语虽然在utf8的覆盖范围内，但utf8mb4是MySQL官方推荐的全量Unicode兼容字符集，能避免后续其他特殊字符的兼容问题
  • 检查服务端语言的MySQL驱动配置：如果用PDO连接，必须在DSN中声明charset=utf8mb4；如果用MySQLi，要主动调用set_charset('utf8mb4')方法，不要仅靠SQL语句设置字符集，部分驱动在字符集不匹配时会在转义、预处理阶段提前把多字节字符替换成问号
  • 本地环境正常通常是因为本地MySQL客户端默认连接字符集为utf8，而线上服务器的MySQL客户端默认字符集大概率被配置为latin1，会直接把不识别的多字节字符转成问号
• 先确认数据本身是否写入正确
  不要通过业务接口、web版数据库管理工具查看数据，直接登录线上MySQL命令行执行以下语句校验实际存储内容：

  SELECT HEX(存储古吉拉特语的字段名) FROM 对应表名 LIMIT 1;
  

  如果返回的HEX结果中存在大量3F值（对应ASCII码的问号），说明数据在写入环节就已经因为字符集不匹配被转成了问号，和后续渲染逻辑无关；如果返回的是正常3字节长度的多字节编码值，再继续往下排查
• 检查HTTP渲染层的字符集配置
  • 抓包看线上接口/页面返回的Content-Type响应头，必须明确携带charset=utf-8，正确格式为Content-Type: text/html; charset=utf-8。线上的Nginx、Apache等web服务器可能有默认字符集配置，会覆盖代码中设置的响应头，本地开发服务器无相关配置所以表现正常
  • 检查HTML页面头部是否明确声明<meta charset="UTF-8">，不要让浏览器自动探测字符集，部分浏览器在响应头未携带charset参数时，会默认使用单字节字符集渲染页面，直接把古吉拉特语字符替换为问号
• 检查服务端代码的编码处理逻辑
  排查线上代码中是否存在编码转换逻辑，比如误用iconv、mb_convert_encoding等函数将UTF-8字符串转成ISO-8859-1、GBK等不支持古吉拉特语的编码格式，转换过程中不识别的字符会被自动替换为问号；同时检查运行环境的默认编码配置，比如PHP的default_charset、Java的file.encoding启动参数要和本地环境保持一致，设置为UTF-8

排查库表字符集时不要漏了字段级配置：如果字段单独设置过字符集，会覆盖库、表级的字符集配置，需要确认存储古吉拉特语的字段本身字符集为utf8/utf8mb4

内容的提问来源于stack exchange，提问作者hitesh rathod