如何通过Python连接AWS S3中存储的SQLite数据库文件？

你的代码无法正常运行，核心问题和错误点：

• sqlite3.connect() 不支持直接传入S3 URL，它仅能处理本地文件路径或支持随机读写的文件对象
• 代码存在拼写错误：sqliite3 多了一个字母i，正确写法是sqlite3
• pd.read_sql_table() 用于读取整张表，参数应为表名而非SQL查询语句，执行自定义查询需用pd.read_sql_query()

方法一：下载到本地临时文件（推荐，适配所有文件大小） #

将S3上的SQLite文件下载到本地临时文件，操作完成后自动清理，避免本地存储残留：

import boto3
import pandas as pd
import sqlite3
import tempfile
from pathlib import Path

# 初始化S3客户端
s3 = boto3.client('s3')
bucket_name = 'your-bucket-name'  # 替换为你的存储桶名
file_key = 'file.db'  # 替换为S3中文件的键

# 创建临时文件
with tempfile.NamedTemporaryFile(suffix='.db', delete=False) as tmp_file:
    tmp_path = Path(tmp_file.name)

try:
    # 从S3下载文件到临时路径
    s3.download_file(bucket_name, file_key, str(tmp_path))
    
    # 连接本地临时数据库
    conn = sqlite3.connect(tmp_path)
    
    # 执行查询并读取数据
    df = pd.read_sql_query('SELECT * FROM your_table_name', conn)  # 替换为你的表名
    print(df.head())
    
finally:
    # 关闭连接并删除临时文件
    conn.close()
    tmp_path.unlink()

方法二：读取到内存中的可随机访问对象（适合小文件） #

若不想写入本地磁盘，可将文件内容读取到io.BytesIO对象中供SQLite连接，但大文件会占用大量内存，需谨慎使用：

import boto3
import pandas as pd
import sqlite3
import io

s3 = boto3.client('s3')
bucket_name = 'your-bucket-name'  # 替换为你的存储桶名
file_key = 'file.db'  # 替换为S3中文件的键

# 从S3获取文件内容到内存对象
obj = s3.get_object(Bucket=bucket_name, Key=file_key)
db_bytes = io.BytesIO(obj['Body'].read())

# 连接内存中的数据库
conn = sqlite3.connect(db_bytes)

# 读取数据
df = pd.read_sql_query('SELECT * FROM your_table_name', conn)  # 替换为你的表名
print(df.head())

# 关闭连接
conn.close()

额外提示 #

如果你的SQLite文件体积极大，建议考虑将数据库迁移到AWS RDS、Athena等云端数据库服务，这类服务原生支持云端访问，无需手动处理文件下载/内存读取逻辑。

内容的提问来源于stack exchange，提问作者Juan Almada