如何将GCP存储桶中的多个ipynb文件转换为可执行py文件

看来你试过几种方法都踩坑了，我来给你几个在GCP生态里靠谱的解决方案，应该能解决你的问题：

方案1：用Cloud Functions自动触发转换（推荐，适合实时/批量处理） #

这个方法能让你在ipynb文件上传到GCS存储桶时自动转成py文件，完全在GCP云端完成，不需要本地操作。

步骤： #

1. 打开GCP控制台，创建一个新的Cloud Function：
   • 触发方式选Cloud Storage，事件类型选最终创建/替换文件，指定你的目标存储桶
   • 运行环境选Python 3.9+（确保支持依赖）
2. 在函数代码里，替换默认的main.py为以下内容：

   import os
   from google.cloud import storage
   from nbconvert import PythonExporter
   import nbformat
   
   def convert_ipynb_to_py(event, context):
       # 获取触发的文件信息
       file_name = event['name']
       bucket_name = event['bucket']
       
       # 只处理ipynb文件
       if not file_name.endswith('.ipynb'):
           print(f"Skipping non-ipynb file: {file_name}")
           return
       
       # 初始化GCS客户端
       storage_client = storage.Client()
       bucket = storage_client.bucket(bucket_name)
       
       # 下载ipynb文件到临时目录（Cloud Functions提供/tmp临时空间）
       blob = bucket.blob(file_name)
       local_ipynb_path = f"/tmp/{os.path.basename(file_name)}"
       blob.download_to_filename(local_ipynb_path)
       
       # 读取并转换notebook
       with open(local_ipynb_path, 'r') as f:
           nb = nbformat.read(f, as_version=4)
       
       exporter = PythonExporter()
       source, _ = exporter.from_notebook_node(nb)
       
       # 生成py文件路径（替换扩展名）
       py_file_name = file_name.replace('.ipynb', '.py')
       local_py_path = f"/tmp/{os.path.basename(py_file_name)}"
       
       with open(local_py_path, 'w') as f:
           f.write(source)
       
       # 上传py文件回存储桶
       py_blob = bucket.blob(py_file_name)
       py_blob.upload_from_filename(local_py_path)
       
       print(f"Successfully converted {file_name} to {py_file_name}")
   

3. 在requirements.txt里添加依赖：

   google-cloud-storage
   nbconvert
   nbformat
   jupyter-core
   

4. 部署函数，之后上传新的ipynb到存储桶，就会自动生成对应的py文件了。

方案2：用gsutil+nbconvert批量处理（适合一次性批量转换） #

如果是一次性处理大量文件，可以用GCP的Cloud Shell或者本地安装gsutil，结合nbconvert来批量操作：

步骤： #

1. 打开Cloud Shell（不用本地装环境），先安装依赖：

   pip install nbconvert nbformat
   

2. 创建临时目录，下载存储桶里的所有ipynb文件：

   mkdir tmp_ipynb
   gsutil cp gs://your-bucket-name/*.ipynb tmp_ipynb/
   

3. 批量转换目录里的ipynb文件：

   for file in tmp_ipynb/*.ipynb; do
       jupyter nbconvert --to python "$file"
   done
   

4. 把转换好的py文件上传回存储桶：

   gsutil cp tmp_ipynb/*.py gs://your-bucket-name/
   

方案3：用Cloud Composer（Airflow）做定时批量转换（适合周期性处理） #

如果需要定期转换存储桶里的ipynb文件，可以用Cloud Composer创建Airflow工作流：

• 编写DAG，用BashOperator执行gsutil下载+nbconvert转换+上传的命令
• 或者用PythonOperator调用类似方案1里的转换代码，实现更灵活的逻辑

为什么之前的方法失败？ #

• 直接改扩展名：ipynb本质是JSON格式的文件，改扩展名只是换了名字，内容还是notebook的结构，自然没法作为py脚本执行
• 直接在GCS上用nbconvert：nbconvert需要操作本地文件系统的文件，不能直接读取GCS的对象，必须先下载到本地（或临时空间）再处理
• notebooktoall失败：大概率是GCP环境下依赖缺失，或者权限不足（比如没有GCS读写权限），这个库本身维护性也不如官方的nbconvert

内容的提问来源于stack exchange，提问作者naveen kumar