能否通过Node.js版Lambda函数读取S3中的SQLite数据库文件？

我有一个存储在S3存储桶中的SQLite数据库文件，想要读取其中表的数据并转换为JSON格式。尝试使用Node.js的sqlite3库，但无法在Lambda上正常运行。

当前代码如下：

const fs = require('fs')
const AWS = require('aws-sdk');
const s3 = new AWS.S3();

exports.handler = async (event, context) => {
    const stream = fs.createWriteStream(`/tmp/test.db`, {flags:'a'});
    const download = async (args, stream) => {
        const params = {
            Bucket: 'xyzBucket',
            Key: 'test.db'
        };
        const readStream = s3.getObject(params).createReadStream();
     
        const res = await readStream.pipe(stream)
    }
};

为什么sqlite3在Lambda上无法正常运行？ #

sqlite3是原生Node.js模块，依赖系统编译的二进制文件。Lambda的运行环境（如Amazon Linux 2）和本地开发环境的编译环境不一致，直接部署会触发兼容性错误，导致模块无法加载。

替代方案：使用兼容Lambda的SQLite库 #

推荐使用sqlite（基于sqlite3的封装库，支持预编译二进制适配Lambda环境），步骤如下：

1. 安装依赖 #

在本地项目目录执行：

npm install sqlite aws-sdk sqlite3

2. 完整Lambda代码实现 #

代码包含三个核心逻辑：下载S3文件到Lambda临时目录、连接数据库查询数据、转换为JSON输出：

const fs = require('fs').promises;
const AWS = require('aws-sdk');
const { open } = require('sqlite');
const sqlite3 = require('sqlite3');

const s3 = new AWS.S3();

exports.handler = async (event, context) => {
    try {
        // 下载S3中的SQLite文件到Lambda临时目录（仅/tmp可写）
        const s3Params = {
            Bucket: 'xyzBucket',
            Key: 'test.db'
        };
        const s3Response = await s3.getObject(s3Params).promise();
        const tmpDbPath = '/tmp/test.db';
        await fs.writeFile(tmpDbPath, s3Response.Body);

        // 连接到本地临时SQLite文件
        const db = await open({
            filename: tmpDbPath,
            driver: sqlite3.Database
        });

        // 执行查询（替换为你的表名和自定义查询）
        const tableData = await db.all('SELECT * FROM your_target_table');

        // 转换为JSON格式
        const jsonResult = JSON.stringify(tableData);

        // 可选：清理临时文件（Lambda会自动销毁/tmp目录）
        await fs.unlink(tmpDbPath);

        return {
            statusCode: 200,
            body: jsonResult
        };
    } catch (error) {
        console.error('处理出错:', error);
        return {
            statusCode: 500,
            body: JSON.stringify({ error: error.message })
        };
    }
};

3. 部署注意事项 #

• 若选择better-sqlite3，需在与Lambda相同的环境中编译模块（可通过Docker模拟Lambda环境），避免兼容性问题。
• 确保Lambda角色拥有目标S3存储桶的读取权限。
• Lambda的/tmp目录最大支持10GB，需保证SQLite文件大小在限制内。

内容的提问来源于stack exchange，提问作者RainbowSong