如何将模块中Athena魔法函数生成的DataFrame注册到Jupyter全局变量？

核心思路是利用IPython提供的用户命名空间API，直接将生成的DataFrame注入到Notebook的全局环境中，而非模块自身的全局变量。

具体实现步骤 #

1. 模块内的魔法函数编写
   在你的Athena魔法函数模块（比如athena_magic.py）中，通过get_ipython()获取当前IPython实例，再通过其user_ns属性操作Notebook的全局命名空间：

   from IPython.core.magic import register_cell_magic
   from IPython import get_ipython
   import boto3
   import pandas as pd
   import time
   
   @register_cell_magic
   def athena(line, cell):
       # 获取IPython实例，确保在Jupyter环境中运行
       ip = get_ipython()
       if not ip:
           raise RuntimeError("此魔法函数仅支持Jupyter/IPython环境")
       
       # 解析用户指定的变量名，默认用athena_result
       target_var = line.strip() if line else "athena_result"
   
       # 执行Athena查询流程（示例）
       client = boto3.client('athena', region_name='us-east-1')
       query_config = {
           'QueryString': cell,
           'ResultConfiguration': {'OutputLocation': 's3://your-athena-results-bucket/'}
       }
       execution_resp = client.start_query_execution(**query_config)
       execution_id = execution_resp['QueryExecutionId']
   
       # 轮询等待查询完成
       while True:
           status = client.get_query_execution(QueryExecutionId=execution_id)['QueryExecution']['Status']['State']
           if status in ['SUCCEEDED', 'FAILED', 'CANCELLED']:
               break
           time.sleep(2)
       
       if status == 'SUCCEEDED':
           # 读取查询结果到DataFrame
           df = pd.read_csv(f"s3://your-athena-results-bucket/{execution_id}.csv")
           # 将DataFrame注入Notebook全局命名空间
           ip.user_ns[target_var] = df
           print(f"查询结果已注册为全局变量: {target_var}")
       else:
           raise Exception(f"查询失败，状态: {status}")
   

2. Notebook中导入使用
   在Notebook里导入模块后，直接使用单元格魔法，指定要注册的变量名：

   from athena_magic import athena
   

   %%athena my_athena_df
   SELECT * FROM your_athena_table LIMIT 20;
   

   执行后，my_athena_df就会成为Notebook的全局变量，可直接调用。

为什么之前用inspect无效？ #

模块的全局上下文与Notebook的IPython用户命名空间是完全隔离的，inspect只能追踪Python调用栈的模块上下文，无法触及IPython为Notebook维护的独立用户环境。而get_ipython().user_ns是IPython专门暴露给扩展（如魔法函数）的接口，用于直接操作Notebook的全局变量空间。

内容的提问来源于stack exchange，提问作者Martin Macak