Apache Camel调用toD获取数据时JSON异常及排查求助

• 核对Camel HTTP组件配置细节
  • 检查connectionTimeout、socketTimeout参数是否过短，避免因超时截断响应数据；确认followRedirects是否开启，排查重定向导致的数据丢失问题。
  • 查看是否启用分块传输编码支持，部分数据源在分块模式下可能和Camel默认组件存在兼容问题，可尝试关闭分块或调整httpClient的分块相关配置。
  • 确认字符编码配置，确保Camel使用的编码（如UTF-8）与数据源返回的一致，避免编码不匹配引发的乱码被识别为控制字符。
• 抓包对比Camel与curl的请求差异
  • 用tcpdump/Wireshark捕获Camel发起的请求和curl请求的完整报文，对比请求头、响应头及响应内容。重点关注Accept-Encoding、User-Agent等curl默认携带但Camel可能缺失的请求头，以及响应的Content-Length与实际接收字节数是否匹配。
• 提前校验原始响应数据
  • 在Jackson反序列化前添加处理器，将原始响应内容输出到日志（注意脱敏），直接检查是否存在代码0的控制字符，或是否因数据截断产生乱码：

    .process(exchange -> {
        byte[] rawBytes = exchange.getIn().getBody(byte[].class);
        String rawData = new String(rawBytes, StandardCharsets.UTF_8);
        log.info("Raw response content length: {}", rawBytes.length);
        if (rawData.indexOf('\u0000') != -1) {
            log.error("Null control character detected in raw data");
            // 可将异常数据写入临时文件留存分析
            Files.write(Paths.get("/tmp/error-data.txt"), rawBytes);
        }
        exchange.getIn().setBody(rawData);
    })
    

• 检查Camel自动转换机制
  • 关闭autoConvertBody（设置为false），显式以字节数组形式获取响应体再手动转换为字符串，避免Camel自动转换过程中损坏原始数据。

• 嵌入原生Apache HttpClient调用
  • 绕过Camel HTTP组件，直接使用HttpClient模拟curl的请求逻辑，完全控制请求流程：

    .process(exchange -> {
        String dataSetUrl = exchange.getIn().getHeader("dataSetAccessUrl", String.class);
        try (CloseableHttpClient client = HttpClients.createDefault()) {
            HttpGet request = new HttpGet(dataSetUrl);
            // 复制curl的请求头，确保和curl行为一致
            request.setHeader("User-Agent", "curl/7.68.0");
            request.setHeader("Accept", "*/*");
            try (CloseableHttpResponse response = client.execute(request)) {
                HttpEntity entity = response.getEntity();
                if (entity != null) {
                    byte[] contentBytes = EntityUtils.toByteArray(entity);
                    exchange.getIn().setBody(new String(contentBytes, StandardCharsets.UTF_8));
                }
            }
        } catch (IOException e) {
            throw new RuntimeException("Failed to fetch data from data lake", e);
        }
    })
    

• 切换为Netty HTTP组件
  • 替换默认的http组件为netty-http，其底层传输实现与默认组件不同，可能解决部分传输层面的兼容性问题：

    from("direct:fetchData")
        .toD("netty-http:${header.dataSetAccessUrl}?connectTimeout=30000&socketTimeout=60000")
        .process(...) // 后续处理逻辑
    

• 启用流缓存机制
  • 在路由中添加.streamCaching()，确保响应体被完整缓存，避免因流提前关闭导致的数据不完整：

    from("direct:fetchData")
        .streamCaching()
        .toD("${header.dataSetAccessUrl}")
        .process(...)
    

内容的提问来源于stack exchange，提问作者Trups