在Foundry代码工作簿/代码库中用Pixiedust可视化DataFrame遇错求助

问题场景 #

参考IBM的糖尿病预测Demo，尝试在Foundry代码工作簿/代码库中使用pixiedust进行数据集可视化时，触发如下错误：

Traceback (most recent call last):
  File "unnamed_3", line 1, in <module>
  File "/opt/spark/work-dir/__environment__/lib/python3.7/site-packages/pixiedust/__init__.py", line 31, in <module>
    import pixiedust.utils.pdLogging as pdLogging
  File "/opt/spark/work-dir/__environment__/lib/python3.7/site-packages/pixiedust/utils/__init__.py", line 25, in <module>
    storage._initStorage()
  File "/opt/spark/work-dir/__environment__/lib/python3.7/site-packages/pixiedust/utils/storage.py", line 68, in _initStorage
    _conn = sqlite3.connect(SQLITE_DB_NAME_PATH)
sqlite3.OperationalError: unable to open database file

问题原因 #

Foundry的代码执行环境是沙箱化的，对本地文件系统的读写权限有严格限制。Pixiedust默认会尝试在本地固定路径创建SQLite数据库来存储配置信息，这一操作在Foundry的受限环境中被禁止，因此抛出无法打开数据库的错误。

解决思路与方案 #

方案一：使用Foundry原生可视化工具（推荐）

Foundry内置了成熟的数据集可视化能力，完全适配平台环境，无需依赖第三方库：

1. 在代码工作簿或转换中完成数据处理后，将Spark DataFrame写入Foundry数据集：

   from transforms.api import transform_df, Input, Output
   
   @transform_df(
       Output("/your/project/path/output/diabetes-dataset"),
       raw_data=Input("/your/project/path/input/raw-dataset"),
   )
   def process_data(ctx, raw_data):
       # 此处添加你的数据处理逻辑，生成目标DataFrame
       diabetes_df = raw_data.select(...)
       return diabetes_df
   

2. 运行转换后，打开输出数据集的页面，点击可视化标签，即可通过可视化编辑器创建柱状图、散点图、折线图等多种图表，支持拖拽字段、调整样式等交互操作。

方案二：调整Pixiedust存储路径（尝试性方案）

如果必须使用Pixiedust，可以尝试将其存储路径指向Foundry允许的临时目录，在导入Pixiedust前添加如下代码：

import os
import tempfile

# 创建并指定临时目录作为Pixiedust的存储路径
temp_storage_dir = tempfile.mkdtemp()
os.environ['PIXIESTORE_DIR'] = temp_storage_dir

# 之后再导入pixiedust
import pixiedust

注意：Foundry的临时目录会在任务执行结束后被自动清理，且Pixiedust的交互式可视化功能可能无法在Foundry的非交互式代码环境中正常工作，此方案仅作为临时尝试，不保证完全兼容。

内容的提问来源于stack exchange，提问作者Mahesh Ramamurthy