Python多模块间共享大型Pandas DataFrame的最优方案咨询

下面是几种无数据复制、适合多模块共享大型DataFrame的实用方案，按推荐优先级排序：

1. 传递DataFrame对象作为参数（最符合Python最佳实践） #

如果函数调用链清晰，直接把DataFrame作为参数传给各模块的函数。Pandas绝大多数操作默认返回视图而非副本，原地修改时不会产生数据复制，效率拉满。

示例：

# 模块module_process.py
def filter_high_value(df):
    # 返回视图，无数据复制
    return df[df['value'] > 100]

def add_total_column(df):
    # 原地修改原DataFrame，无复制
    df['total'] = df['price'] * df['quantity']

主模块调用：

import pandas as pd
from module_process import filter_high_value, add_total_column

def main():
    # 仅在主模块加载一次DataFrame
    large_df = pd.read_csv('big_data.csv')
    # 传入同一个对象操作
    filtered_view = filter_high_value(large_df)
    add_total_column(large_df)

2. 用单例类封装DataFrame（适合复杂项目） #

通过单例模式确保整个项目中只有一个DataFrame实例，所有模块共享同一对象，还能统一管理加载、更新逻辑。

示例：

# 模块data_store.py
import pandas as pd

class DataStore:
    _instance = None

    def __new__(cls):
        if cls._instance is None:
            cls._instance = super().__new__(cls)
            # 在这里统一加载/初始化DataFrame
            cls._instance.df = pd.read_csv('big_data.csv')
        return cls._instance

# 全局唯一实例
data_store = DataStore()

其他模块使用：

# 模块module_analysis.py
from data_store import data_store

def calculate_avg(df=None):
    # 直接操作共享的DataFrame
    df = df or data_store.df
    data_store.df['avg'] = df.groupby('category')['value'].transform('mean')

3. 受控的模块级变量（适合小型项目） #

虽然跨模块全局变量不推荐，但如果能严格控制变量不被重新赋值，可以在专门模块中定义DataFrame，其他模块仅导入引用，而非重新创建。

示例：

# 模块data_container.py
import pandas as pd

# 仅在此模块初始化一次
large_df = pd.read_csv('big_data.csv')

其他模块使用：

# 模块module_update.py
from data_container import large_df

def refresh_timestamp():
    # 直接修改原DataFrame，无复制
    large_df['updated_at'] = pd.Timestamp.now()

⚠️ 注意：绝对不要在其他模块中对large_df重新赋值（比如large_df = pd.DataFrame()），否则会断开原引用，产生多个DataFrame副本。

以上方案都能保证只操作同一个DataFrame实例，完全避免冗余复制，你可以根据项目复杂度和团队习惯选择最合适的。

内容的提问来源于stack exchange，提问作者Fabio