相同Docker容器环境下Unicode编码不一致问题求助

• 容器基于php:7.4.27-apache-buster构建，部署在Staging和Production两个Kubernetes集群
• PHP应用通过curl拉取第三方JSON数据，处理后存入MariaDB
• 两个环境：应用代码、镜像构建方式、数据源编码、数据库配置完全一致
• 异常：Staging可正常处理Unicode字符，Production中Unicode字符编码错误；重新构建镜像无效

环境核心差异 #

唯一明确版本差异：

• Production MariaDB版本：10.1.1
• Staging MariaDB版本：10.5.17
  其余版本统一：PHP 7.4.27、Docker 20.10.18、Kubernetes 1.20.6

Dockerfile内容 #

FROM php:7.4.27-apache-buster
RUN curl -sL https://deb.nodesource.com/setup_17.x | bash -
RUN DEBIAN_FRONTEND=noninteractive apt-get install -y nodejs
RUN apt-get remove -y libstdc++-8-dev && \
  wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - && \
    apt-get install -y fonts-ipafont-gothic fonts-wqy-zenhei fonts-thai-tlwg fonts-kacst fonts-freefont-ttf && \
    apt-get install -y libx11-xcb1 libxtst6 libnss3 libxss1 libasound2 libatk-bridge2.0-0 libgtk-3-0 && \
    apt-get install -y xvfb
RUN apt-get install -y cron sendmail && \
  apt-get install -y libzip-dev && \
  apt-get install -y chromium && \
  apt-get autoremove -y && \
  rm -rf /var/lib/apt/lists/* && \
  rm -rf /var/cache/*
RUN docker-php-ext-install pdo pdo_mysql mysqli zip
RUN apt-get update -y && apt-get install -y zlib1g-dev libpng-dev libjpeg-dev libfreetype6-dev imagemagick && \
    docker-php-ext-configure gd --with-jpeg --with-freetype && \
    docker-php-ext-install gd
COPY container/policy.xml /etc/ImageMagick-6/policy.xml
RUN apt-get update -y && \
    apt-get install -y libmagickwand-dev && \
    pecl install imagick && \
    docker-php-ext-enable imagick
RUN groupadd -g 118 myapp
RUN useradd -d /myapp -G audio,video -g myapp -u 113 myapp
RUN chsh -s /bin/bash myapp
COPY --chown=myapp . .
COPY container/entrypoint.sh /usr/local/bin/entrypoint.sh
RUN chmod a+rx /usr/local/bin/entrypoint.sh
WORKDIR /app
EXPOSE 80
ENTRYPOINT ["/usr/local/bin/entrypoint.sh"]

1. 聚焦MariaDB版本差异（核心排查点） #

MariaDB 10.1.x与10.5.x在Unicode处理上存在关键区别：

• 字符集默认配置验证：登录Production的MariaDB，执行以下命令对比Staging结果：

  SHOW VARIABLES LIKE '%character_set%';
  SHOW VARIABLES LIKE '%collation%';
  SHOW CREATE TABLE <目标表名>;
  

  10.1默认可能使用latin1而非utf8mb4，即使你认为配置一致，也需确认表/字段是否强制使用utf8mb4（utf8仅支持3字节Unicode，无法覆盖全量字符）
• 数据库连接字符集强制设置：PHP连接时是否显式指定utf8mb4？比如：
  • PDO连接串需添加charset=utf8mb4
  • mysqli需调用mysqli_set_charset('utf8mb4')
    10.5可能自动适配，但10.1必须显式指定，否则会用默认字符集转码导致乱码

2. 容器内系统编码环境检查 #

进入Production容器执行以下命令，对比Staging：

• echo $LANG、locale：确认是否设置en_US.UTF-8或其他UTF-8 locale，未设置会导致PHP默认用ASCII/latin1处理字符串
• php -i | grep default_charset：确认PHP默认字符集为UTF-8

3. Cron任务的环境补全 #

Cron默认环境极简，与容器主进程可能存在差异：

• 检查Production容器内的Cron配置，在任务前添加UTF-8 locale声明，示例：

  */15 * * * * LANG=en_US.UTF-8 /usr/bin/php /app/your_script.php
  

• 验证Cron执行时的环境变量，可在脚本开头添加print_r($_ENV)日志

4. 数据接收与解码环节验证 #

在Production容器内手动执行脚本，添加日志排查：

• 用curl直接请求第三方接口，保存结果后执行file -i <文件名>确认返回编码为application/json; charset=utf-8
• 在PHP脚本中添加var_dump(mb_detect_encoding($raw_data))，验证原始数据及json_decode后的字符串编码是否为UTF-8

5. 数据库写入前编码确认 #

在PHP脚本中添加日志：

• 输出写入数据库前的字符串编码：var_dump(mb_detect_encoding($processed_data))
• 输出数据库连接的字符集设置：var_dump($pdo->getAttribute(PDO::MYSQL_ATTR_INIT_COMMAND))

内容的提问来源于stack exchange，提问作者Ralph D