Azure文件共享openReadAsync()读取4MB以上文件异常问题排查

可能的原因 #

• 编码不匹配：StreamReader默认使用UTF-8编码，但你的CSV文件可能是GBK、GB2312等其他编码。小文件时可能刚好完整读取，解码误差不明显；大文件分块读取时，第一个块的字节无法被UTF-8正确解码，直接显示乱码。
• 流读取的分块偏移问题：Azure文件共享的OpenReadAsync默认分块大小为4MB，当文件超过该阈值时，可能出现流起始位置未正确指向文件开头的情况，导致读取的不是文件第一部分内容。

调试步骤 #

• 验证文件编码：用记事本打开CSV文件，选择「文件-另存为」，查看底部的编码选项；或者用Hex编辑器查看文件开头的字节（比如UTF-8带BOM的话开头是EF BB BF，GBK则无特殊开头）。
• 检查流的起始字节：读取流的前10个字节并打印十六进制，对比文件实际的开头字节，确认是否正确读取了文件起始内容：

  var stream = await cloudFile.OpenReadAsync();
  byte[] buffer = new byte[10];
  int bytesRead = await stream.ReadAsync(buffer, 0, 10);
  Console.WriteLine(BitConverter.ToString(buffer)); // 打印十六进制值
  stream.Position = 0; // 重置流位置后再用StreamReader读取
  

• 指定明确编码读取：根据文件实际编码，在创建StreamReader时指定编码，比如：

  using var reader = new StreamReader(stream, Encoding.GetEncoding("GB2312"));
  

• 改用下载到内存流的方式读取：绕过分块读取的潜在问题，先将文件完整下载到内存流再读取：

  var cloudFile = dir.GetFileClient(fileName);
  using var memoryStream = new MemoryStream();
  await cloudFile.DownloadToAsync(memoryStream);
  memoryStream.Position = 0;
  using var reader = new StreamReader(memoryStream, Encoding.UTF8); // 替换为文件实际编码
  var firstLine = await reader.ReadLineAsync();
  

• 显式指定读取偏移量：调用OpenReadAsync时明确指定从0开始读取全部内容：

  var stream = await cloudFile.OpenReadAsync(offset: 0, length: null);
  using var reader = new StreamReader(stream, Encoding.UTF8);
  var firstLine = await reader.ReadLineAsync();
  

内容的提问来源于stack exchange，提问作者Jeeps