当然可以！不用PySpark也能完美实现带幂等性的S3分区JSON存储需求，纯Python生态里就有好用的工具，给你分享两个实用方案：

方案一：Pandas + s3fs 手动实现分区逻辑 #

如果你的数据量不算特别大，用Pandas结合s3fs就能搞定——s3fs可以让Pandas像操作本地文件一样读写S3，我们只需要手动处理分区的创建、清理和写入逻辑，就能保证幂等性。

步骤&代码示例 #

首先安装依赖：

pip install pandas s3fs

然后编写代码：

import pandas as pd
import s3fs
from pathlib import PurePosixPath

# 初始化S3文件系统（私有桶用anon=False，公有桶可设为True）
fs = s3fs.S3FileSystem(anon=False)

# 假设你已经读取好了DataFrame，且包含year、month、day列
df = pd.read_csv("s3://your-bucket/path/to/source-data.csv")

# 定义S3目标根路径
target_root = "s3://foo"

# 🔑 幂等性核心：先删除当前数据对应的所有已有分区（避免残留旧数据）
unique_partitions = df[["year", "month", "day"]].drop_duplicates().values.tolist()
for year, month, day in unique_partitions:
    partition_path = f"{target_root}/year={year}/month={month}/day={day}"
    if fs.exists(partition_path):
        fs.rm(partition_path, recursive=True)

# 按分区分组写入JSON
for (year, month, day), group_df in df.groupby(["year", "month", "day"]):
    partition_dir = f"{target_root}/year={year}/month={month}/day={day}"
    # 创建分区目录（不存在则自动创建）
    fs.makedirs(partition_dir, exist_ok=True)
    # 写入JSON文件，格式和Spark保持一致（每行一个JSON对象）
    output_file = PurePosixPath(partition_dir) / "part-0000.json"
    group_df.to_json(f"s3://{output_file}", orient="records", lines=True)

优缺点 #

• ✅ 优点：完全无Spark依赖，轻量灵活，适合中小规模数据
• ❌ 缺点：单进程处理，数据量极大时速度会变慢；需要手动处理分区拆分逻辑

方案二：用Dask DataFrame 简化分区写入 #

如果你的数据量较大，推荐用Dask——它是轻量的并行计算库，API和Pandas几乎完全兼容，支持自动分区写入，还能并行处理数据，比PySpark轻量太多，不需要集群就能跑。

步骤&代码示例 #

首先安装依赖：

pip install dask[complete] s3fs

然后编写代码：

import dask.dataframe as dd

# 读取CSV到Dask DataFrame（大文件会自动分片处理）
ddf = dd.read_csv("s3://your-bucket/path/to/source-data.csv")

# 如果数据里没有year/month/day列，可以从日期字段提取（示例）
# ddf["year"] = ddf["date_column"].dt.year
# ddf["month"] = ddf["date_column"].dt.month
# ddf["day"] = ddf["date_column"].dt.day

# 🔑 一键实现分区写入+幂等覆盖
ddf.to_json(
    path="s3://foo",
    orient="records",
    lines=True,
    partition_on=["year", "month", "day"],
    storage_options={"anon": False},
    mode="overwrite"
)

优缺点 #

• ✅ 优点：自动生成Spark风格的分区路径，mode="overwrite"直接保证幂等性；支持并行处理，适合大数据量；API简洁，几乎不用写额外逻辑
• ❌ 缺点：相比纯Pandas多了一个Dask依赖，但它比PySpark轻量太多，几乎没有额外负担

额外注意要点 #

• 格式对齐：一定要用orient="records"和lines=True参数，这样输出的是每行一个JSON对象的格式，和Spark的JSON输出完全一致，方便后续工具（比如Athena、Glue）读取。
• 权限配置：确保你的Python环境有S3读写权限，可以通过环境变量AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY配置，或者使用AWS CLI的本地配置文件。
• 大文件拆分：如果单分区数据量过大，Dask会自动分片生成多个part-xxxx.json文件；用Pandas的话可以手动将分组后的DataFrame拆分成小批次，写入多个part文件。

内容的提问来源于stack exchange，提问作者lucy