使用FSDataInputStream读取HDFS数据遇特殊字符^@无法处理求助

首先得明确：你看到的^@其实是ASCII空字节（0x00），这种字符不属于常规空白字符范畴，所以trim()这类方法对它完全无效。下面给你几个可行的解决方案：

1. 直接过滤空字节 #

这是最直接的临时修复方案，不管读取到的内容里有没有空字节，针对性清除即可：

字符串阶段处理 #

如果已经把数据读到了字符串中，直接用正则替换掉所有空字节的Unicode表示\u0000：

String rawOutput = "你的实际输出内容";
String cleanedOutput = rawOutput.replaceAll("\u0000", "");
System.out.println(cleanedOutput); // 输出5432

字节流阶段过滤（更高效） #

如果文件体积较大，不想先加载整个字符串再处理，可以在读取字节流的过程中直接跳过空字节：

FSDataInputStream hdfsIn = ...; // 初始化你的HDFS输入流
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
int byteRead;
while ((byteRead = hdfsIn.read()) != -1) {
    if (byteRead != 0) { // 只保留非空字节
        outputStream.write(byteRead);
    }
}
// 指定正确的字符编码转换为字符串
String cleanedOutput = outputStream.toString(StandardCharsets.UTF_8.name());

2. 从源头排查数据生成问题 #

空字节一般不是HDFS本身导致的，大概率是写入HDFS的代码逻辑存在问题：

• 是不是用了二进制序列化框架（比如SequenceFile、自定义二进制格式），但读取时误用了文本方式解析？
• 写入数据时是不是为了填充固定长度字段，不小心插入了空字节？
  如果能定位到写入端的问题，从源头避免空字节写入，才是更长久的解决方案。

3. 确认读取时的字符编码 #

有时候编码不匹配也会导致解析出奇怪字符，确保读取时指定了正确的编码（比如UTF-8）：

InputStreamReader reader = new InputStreamReader(hdfsIn, StandardCharsets.UTF_8);
BufferedReader bufferedReader = new BufferedReader(reader);
String line = bufferedReader.readLine();
// 再过滤空字节
String cleanedLine = line.replaceAll("\u0000", "");

补充说明：为什么常规trim()没用？因为trim()只能处理空白字符（空格、制表符、换行符等，对应ASCII 9-13、32），而空字节（ASCII 0）不在这个范围内，所以必须针对性处理。

内容的提问来源于stack exchange，提问作者Vysh