使用file_picker读取CSV文件时utf8.decode()解码异常求助

核心差异：Dart allowMalformed: true vs Python errors="ignore" #

两者的核心区别在于处理无效UTF-8字节时的行为：

• Dart的allowMalformed: true：遇到无效字节序列时，会将整个无效序列替换为单个替换字符�（Unicode U+FFFD）。如果无效序列恰好覆盖了CSV的行分隔符（\n/\r\n）或字段分隔符，或者导致后续字节的解码偏移错位，会让CSV解析逻辑（比如按换行分割行）把多行当成一行，或直接跳过大量内容，表现为“缺失大量行”。
• Python的errors="ignore"：直接跳过所有无效字节，不插入任何替换字符。有效字节的相对位置完全保留，CSV的行/字段分隔符仍在原位置，因此解析时不会错位，自然不会丢失行数据。

Dart端解决方案 #

要模拟Python的errors="ignore"行为，需要先过滤掉无效的UTF-8字节序列，再进行解码：

方法1：手动过滤无效UTF-8字节 #

遍历字节数组，仅保留符合UTF-8编码规则的有效字节：

import 'dart:convert';

// 处理读取到的file.bytes
List<int> validUtf8Bytes = [];
int i = 0;
final bytes = file.bytes;

while (i < bytes.length) {
  final byte = bytes[i];
  if (byte <= 0x7F) {
    // 单字节ASCII，直接保留
    validUtf8Bytes.add(byte);
    i++;
  } else if ((byte & 0xE0) == 0xC0) {
    // 2字节UTF-8序列：检查后续字节是否符合规则
    if (i + 1 < bytes.length && (bytes[i+1] & 0xC0) == 0x80) {
      validUtf8Bytes.addAll([byte, bytes[i+1]]);
      i += 2;
    } else {
      // 无效序列，跳过当前字节
      i++;
    }
  } else if ((byte & 0xF0) == 0xE0) {
    // 3字节UTF-8序列
    if (i + 2 < bytes.length && 
        (bytes[i+1] & 0xC0) == 0x80 && 
        (bytes[i+2] & 0xC0) == 0x80) {
      validUtf8Bytes.addAll([byte, bytes[i+1], bytes[i+2]]);
      i += 3;
    } else {
      i++;
    }
  } else if ((byte & 0xF8) == 0xF0) {
    // 4字节UTF-8序列
    if (i + 3 < bytes.length && 
        (bytes[i+1] & 0xC0) == 0x80 && 
        (bytes[i+2] & 0xC0) == 0x80 && 
        (bytes[i+3] & 0xC0) == 0x80) {
      validUtf8Bytes.addAll([byte, bytes[i+1], bytes[i+2], bytes[i+3]]);
      i += 4;
    } else {
      i++;
    }
  } else {
    // 无效的单字节（如0x80-0xBF的孤立字节），跳过
    i++;
  }
}

// 用过滤后的有效字节解码
final decodedString = utf8.decode(validUtf8Bytes);

方法2：替换Dart解码后的替换字符 #

先使用allowMalformed: true解码，再移除所有替换字符�，也能近似模拟Python的效果：

final decodedWithReplace = utf8.decode(file.bytes, allowMalformed: true);
final decodedString = decodedWithReplace.replaceAll('\uFFFD', '');

这种方法更简洁，但如果无效序列恰好替换掉了行分隔符的部分字节，可能仍会出现少量行错位，建议优先使用方法1。

为什么Latin1解码无效？ #

Latin1编码会将每个字节直接映射为对应的Unicode字符，这会把UTF-8的多字节字符拆分成多个乱码字符。这些乱码可能破坏CSV的行/字段分隔符结构，导致解析逻辑错误，最终表现为数据不完整。

内容的提问来源于stack exchange，提问作者ASAD HAMEED