使用NodeJS调用S3 selectObjectContent无输出问题求助

我是资深前端开发者，正在学习NodeJS+AWS技术栈，Coursera作业要求用selectObjectContent读取S3上的JSON对象并打印，但代码运行后无预期输出（data event/end event/end of handleData），仅挂起10-15秒后终止。已确认：

• handleData函数被调用，data对象非空
• IAM权限配置正确，本地aws configure已完成
• S3对象存在，aws s3api get-object可正常获取
• bucketName和fileName参数正确

简化代码如下：

function readDragonsFromS3(bucketName, fileName)
{

    s3.selectObjectContent({
        Bucket: bucketName,
        Expression: "select * from S3Object",
        ExpressionType: 'SQL',
        Key: fileName,
        InputSerialization: {
            JSON: {
                Type: 'DOCUMENT',
            }
        },
        OutputSerialization: {
            JSON: {
                RecordDelimiter: ','
            }
        }
    }, function (err, data)
    {
        if (err)
        {
            console.log(err);
        } else
        {
            handleData(data);
        }
    }
    );
}
function handleData(data)
{
    const resultStream = [];
    data.Payload.on('data', (event) =>
    {
        console.log("data event");
    })
    .on("end", () => 
    {
        console.log("end event");
    })
    .on("error", (err) =>
    {
        console.log(err);
    });
    console.log("end of handleData");
}

修复方案 #

1. 正确处理Payload流的事件类型

selectObjectContent返回的Payload流的data事件并非直接返回原始数据，而是包含Records/Stats/Progress等不同类型的事件对象。如果不消费这些事件数据，Node.js会因流积压导致程序挂起。修改handleData函数：

function handleData(data) {
    const resultStream = [];
    data.Payload.on('data', (event) => {
        console.log("data event triggered");
        // 区分事件类型并处理
        if (event.Records) {
            console.log('Received content:', event.Records.Payload.toString());
            resultStream.push(event.Records.Payload);
        } else if (event.Stats) {
            console.log('Query stats:', event.Stats.Details);
        } else if (event.End) {
            console.log('Query completed');
        }
    })
    .on("end", () => {
        console.log("end event");
        const finalResult = Buffer.concat(resultStream).toString();
        console.log('Final output:', finalResult);
    })
    .on("error", (err) => {
        console.log("Stream error:", err);
    })
    .on("close", () => {
        console.log("Stream closed");
    });
    console.log("end of handleData");
}

2. 匹配JSON文件格式与序列化配置

InputSerialization中Type: 'DOCUMENT'要求S3文件是单个JSON文档（如{"name": "dragon"}），如果你的文件是JSON Lines格式（每行一个JSON对象），需改为Type: 'LINES'：

InputSerialization: {
    JSON: {
        Type: 'LINES', // 适配每行一个JSON对象的格式
    }
}

3. 防止程序提前退出

如果主程序在注册流事件后立即结束，会导致事件循环终止，流事件无法触发。可以在调用readDragonsFromS3后添加：

// 保持事件循环活跃，等待流处理完成
process.stdin.resume();

或者用Promise包装操作，通过async/await等待完成：

function readDragonsFromS3(bucketName, fileName) {
    return new Promise((resolve, reject) => {
        s3.selectObjectContent({ /* 原有配置 */ }, (err, data) => {
            err ? reject(err) : resolve(data);
        });
    });
}

async function main() {
    try {
        const data = await readDragonsFromS3('你的桶名', '你的文件名.json');
        await new Promise((resolve, reject) => {
            data.Payload.on('data', () => console.log("data event"))
                      .on('end', () => { console.log("end event"); resolve(); })
                      .on('error', reject);
            console.log("end of handleData");
        });
        process.exit(0);
    } catch (err) {
        console.error(err);
        process.exit(1);
    }
}

main();

4. 确认IAM权限包含s3:SelectObjectContent

即使get-object能正常运行，selectObjectContent需要单独的权限，确保IAM策略中存在：

{
    "Effect": "Allow",
    "Action": "s3:SelectObjectContent",
    "Resource": "arn:aws:s3:::你的桶名/*"
}

内容的提问来源于stack exchange，提问作者Jake