Yii2读取含特殊字符的ANSI文本文件时值偏移，原因何在？

问题根源在于编码转换时机错误，混淆了字节长度和字符长度：

• 原ANSI编码（如Windows-1252/GBK）下，ü、ö这类特殊字符占1字节，你的列定义pos和len是基于该编码的字节位置/长度设计的。
• 若先将整个文件转成UTF-8，这类字符会变成2字节，此时用substr（按字节截取）会破坏原有的列位置规则，导致后续字段偏移。

解决方案：先按原编码截取字段，再转UTF-8 #

核心思路是保持原文件编码读取和字段截取，只对单个字段的值做编码转换，确保列位置和长度完全匹配原文件的设计。

步骤1：按原ANSI编码读取文件

确保读取文件时使用正确的原编码（需根据实际文件调整：西欧ANSI用Windows-1252，中文ANSI用GBK）：

$filePath = 'path/to/your/textfile.txt';
$handle = fopen($filePath, 'r');
// 设置流编码为原ANSI编码
stream_set_encoding($handle, 'Windows-1252');
$lines = [];
while (($line = fgets($handle)) !== false) {
    $lines[] = $line;
}
fclose($handle);

步骤2：修改字段截取逻辑

先按原编码的字节位置截取字段，再将单个字段转成UTF-8：

foreach ($lines as $line) {
    if (substr($line, 0, 1) === $type) {
        $model = new DynamicModel($dynamicAttributes);
        foreach ($fielddefs as $fielddef) {
            $attributeName = $fielddef->attributes['variable'];
            // 按原编码的字节位置截取原始值
            $rawValue = substr($line, $fielddef->pos, $fielddef->len);
            // 将单个字段转换为UTF-8（第二个参数是目标编码，第三个是原编码）
            $value = mb_convert_encoding($rawValue, 'UTF-8', 'Windows-1252');
            // 可选：去除字段前后的冗余空格
            $model->$attributeName = trim($value);
        }
        $models[] = $model;
    }
}
return $models;

关键注意事项 #

• 务必确认原文件的实际ANSI编码：如果是中文系统生成的ANSI文件，替换编码参数为GBK；不确定的话可以用mb_detect_encoding($rawLine, ['Windows-1252', 'GBK'])辅助检测。
• 不要提前转换整个文件的编码，否则原列定义的字节位置会完全失效。

内容的提问来源于stack exchange，提问作者user2511599