使用Node.js https模块调用Heritrix REST API时遭401未授权错误

问题分析 #

你的curl请求能成功，但Node.js代码返回401，核心差异在于以下几点：

1. POST参数位置错误：curl通过-d将action=teardown放在POST请求体中，而你的Node.js代码把它放到了URL的query参数里，Heritrix API可能仅接受请求体中的该参数。
2. 重定向处理缺失：curl的--location会自动跟随3xx重定向，但Node.js原生https.request默认不处理重定向，若API先返回重定向再要求认证，就会触发401。
3. 认证方式兼容问题：curl的--anyauth会自动尝试Basic/Digest等多种认证方式，而Node.js原生auth选项仅默认发送Basic认证头，如果Heritrix要求Digest认证，直接使用auth会失败。

解决方法 #

方法1：修正原生https请求（对齐curl行为）

调整参数位置、添加请求体、处理重定向：

const https = require('https');

const postData = 'action=teardown';
const baseOptions = {
  hostname: 'localhost',
  port: 8443,
  method: 'POST',
  auth: 'admin:admin',
  rejectUnauthorized: false,
  headers: {
    'Content-Type': 'application/x-www-form-urlencoded',
    'Content-Length': Buffer.byteLength(postData)
  }
};

function sendRequest(options) {
  const req = https.request(options, res => {
    console.log(`statusCode: ${res.statusCode}`);
    
    // 处理重定向，模拟curl --location
    if (res.statusCode >= 300 && res.statusCode < 400 && res.headers.location) {
      console.log('Redirecting to:', res.headers.location);
      const redirectOpts = {
        ...baseOptions,
        path: res.headers.location,
        // 303响应需转为GET请求
        method: res.statusCode === 303 ? 'GET' : baseOptions.method
      };
      sendRequest(redirectOpts);
      return;
    }

    res.on('data', d => process.stdout.write(d));
  });

  req.on('error', error => console.error(error));
  // 仅POST请求写入请求体
  if (options.method === 'POST') req.write(postData);
  req.end();
}

// 初始请求路径移除query参数
sendRequest({ ...baseOptions, path: '/engine/job/a' });

方法2：使用axios简化处理（推荐）

axios自动支持多种认证方式和重定向，更接近curl的--anyauth和--location行为：

const axios = require('axios');
const https = require('https');

// 跳过SSL证书验证
const httpsAgent = new https.Agent({ rejectUnauthorized: false });

axios.post('https://localhost:8443/engine/job/a', 'action=teardown', {
  httpsAgent,
  auth: { username: 'admin', password: 'admin' },
  maxRedirects: 5, // 自动跟随重定向
  headers: { 'Content-Type': 'application/x-www-form-urlencoded' }
})
.then(res => {
  console.log(`statusCode: ${res.status}`);
  console.log(res.data);
})
.catch(err => {
  console.error(err.response ? err.response.data : err.message);
});

验证步骤 #

1. 先测试方法1，确认参数位置和重定向处理是否解决问题；
2. 若仍返回401，说明Heritrix使用Digest认证，直接用方法2的axios即可自动适配；
3. 可通过curl的-v输出查看API实际要求的认证方式，对应调整Node.js代码。

内容的提问来源于stack exchange，提问作者Isaac W