Python DataFrame无深拷贝的不可变数据修改方案咨询

Pandas 中的优化思路 #

Pandas 基于可变的 NumPy 数组实现，无法完全避免数据拷贝，但可以通过局部修改的方式减少冗余：

• 避免全量深拷贝，仅针对需要修改的元素/行/列生成新数据，其余部分复用原DataFrame的视图（注意：必须保证原DataFrame后续不被修改，否则会影响所有复用视图的变量）。
• 示例代码（修改单个元素）：

  import pandas as pd
  
  df = pd.DataFrame([[0,0,0],[0,0,0],[0,0,0]])
  # 构造新DataFrame，仅修改指定位置，其余复用原数据
  df_modified = df.copy(deep=False)
  # 注意：此方式仅在原DataFrame不被修改时安全，否则会联动修改
  df_modified.iloc[0,0] += 1
  

  但这种方式本质还是依赖浅拷贝，存在原数据被意外修改的风险，不是真正的不可变方案。

Polars：原生不可变+内存高效的最优解 #

Polars 是专为内存效率设计的 DataFrame 库，默认采用不可变设计，所有修改操作都会返回新的 DataFrame，且未修改的列会与原DataFrame共享内存，完全避免全量深拷贝的冗余。

示例代码 #

import polars as pl

# 初始化3x3全0 DataFrame
df = pl.DataFrame([[0,0,0],[0,0,0],[0,0,0]], columns=["col1", "col2", "col3"])

# 修改指定位置（第0行第0列）生成新DataFrame
df1 = df.with_columns(
    pl.col("col1").set(0, pl.col("col1").get(0) + 1)
)

# 修改另一个位置（第1行第2列）生成新DataFrame
df2 = df.with_columns(
    pl.col("col3").set(1, pl.col("col3").get(1) + 1)
)

# 验证独立性：原df不变，df1、df2为独立修改结果
print(df)
print(df1)
print(df2)

核心优势 #

• 无需手动管理拷贝，所有修改操作天然生成新实例，原数据不受影响。
• 列存储架构下，仅拷贝被修改的列，其余列共享内存，内存占用仅为深拷贝的几分之一甚至更少。
• API简洁直观，支持批量修改、条件修改等复杂操作。

Spark：大数据场景的不可变方案 #

如果你的数据量达到分布式计算级别，Spark DataFrame 是更好的选择——它基于RDD的不可变特性，所有修改操作都会生成新的DataFrame，底层通过 lineage 延迟计算，不会立即生成数据副本，内存效率极高。

示例代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import when, monotonically_increasing_id

spark = SparkSession.builder.appName("ImmutableMutation").getOrCreate()

# 初始化3x3全0 DataFrame
df = spark.createDataFrame([(0,0,0),(0,0,0),(0,0,0)], ["col1", "col2", "col3"])

# 添加行索引用于定位修改位置
df_with_idx = df.withColumn("idx", monotonically_increasing_id())

# 修改第0行第0列生成新DataFrame
df1 = df_with_idx.withColumn(
    "col1", when(df_with_idx["idx"] == 0, df_with_idx["col1"] + 1).otherwise(df_with_idx["col1"])
).drop("idx")

# 修改第1行第2列生成新DataFrame
df2 = df_with_idx.withColumn(
    "col3", when(df_with_idx["idx"] == 1, df_with_idx["col3"] + 1).otherwise(df_with_idx["col3"])
).drop("idx")

总结 #

• Pandas 本身的 mutable 特性限制了不可变修改的效率，仅能通过局部优化减少拷贝，但存在数据联动风险。
• 中小规模数据优先选择 Polars，原生不可变设计+内存共享机制完美解决你的需求，开发效率和性能都远超Pandas。
• 大规模分布式数据选择 Spark，利用其不可变RDD架构实现无冗余的版本管理。

内容的提问来源于stack exchange，提问作者Null Terminator