AWS Lambda仅部分下载YouTube视频MP3文件问题求助

从你描述的情况来看，核心问题是Lambda环境的请求被目标服务器识别为非合法请求，直接重定向到了网站首页，导致你下载到的是首页HTML而非MP3文件。本地正常是因为你的本地环境请求头、IP等信息符合服务器的校验规则，而Lambda的环境特征很容易被拦截。下面是几个具体的解决思路：

1. 模拟浏览器请求头，绕过服务器校验 #

大多数此类转换网站会通过检查User-Agent、Referer等请求头来判断请求是否来自合法的浏览器环境。Lambda默认的request库请求头非常简单，很容易被识别为非浏览器请求。你可以手动添加这些头信息：

const request = require('request');
const fs = require('fs');

let link = "http://cdl29.convert2mp3.net/download.php?id=youtube_ivpU-4LJaZk&key=hvjquS9UNKoq&d=y";
// 模拟Chrome浏览器的请求头
const headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
  'Referer': 'http://convert2mp3.net/' // 目标网站的首页地址
};

request.get(link, { headers: headers })
  .pipe(fs.createWriteStream("/tmp/name"))
  .on("finish", () => {
    console.log(fs.statSync("/tmp/name").size/1000000.0);
    fs.readFile('/tmp/name', function(err, content) {
      if (err) return callback(err);
      // 可以打印内容预览，确认是不是MP3还是HTML
      console.log("文件内容预览:", content.toString().substring(0, 500));
      console.log("Got here");
    })
  })

添加这些头后，服务器会认为请求来自正常浏览器，大概率会返回真实的MP3文件。

2. 检查下载链接的时效性与合法性 #

你使用的下载链接包含key参数，这类参数通常是临时的，和请求的IP、会话绑定。本地请求时IP是你的公网IP，生成的key有效；但Lambda运行在AWS的服务器IP上，可能不在该网站允许的IP范围内，导致key失效，触发重定向。

解决方法是不要硬编码下载链接，而是通过convert2mp3的官方流程（比如先调用转换接口）获取最新的、适应当前请求环境的下载链接，再执行下载操作。

3. 调试重定向过程，定位问题 #

你可以开启request库的重定向日志，或者监听redirect事件，看看请求到底被跳转到了哪里：

request.get(link, { headers: headers, followAllRedirects: true })
  .on('redirect', function(response) {
    console.log("重定向到:", response.headers.location);
  })
  .pipe(fs.createWriteStream("/tmp/name"))
  // ... 其他逻辑

通过查看重定向地址，可以确认是不是被强制跳转到首页，进一步验证服务器的拦截逻辑。

4. 验证下载内容的具体信息 #

在Lambda中把下载到的文件内容打印出来（或者上传到S3查看），看看HTML里有没有明确的提示信息（比如“请求非法”“链接已过期”），这能帮你更精准地定位问题：

fs.readFile('/tmp/name', function(err, content) {
  if (err) return callback(err);
  const contentStr = content.toString();
  // 如果是HTML，打印前1000字符看看内容
  if (contentStr.startsWith('<!DOCTYPE html>')) {
    console.log("下载到的HTML内容:", contentStr.substring(0, 1000));
  } else {
    console.log("看起来是MP3文件，大小:", content.length);
  }
  console.log("Got here");
})

内容的提问来源于stack exchange，提问作者dude12781239