如何仅通过PySpark Python API创建数据库？是否支持非SQL方式？

• 首先明确：Spark中的数据库（Database）本质等价于命名空间（Namespace），因此可以通过PySpark的Catalog API里的createNamespace方法实现纯Python方式创建，完全不需要编写SQL。

• 示例代码：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("CreateDatabase").getOrCreate()
  # 创建数据库（命名空间），可按需指定存储路径、描述等参数
  spark.catalog.createNamespace(
      name="my_custom_db",
      location="/path/to/storage",  # 可选，自定义存储位置
      description="用于存储业务数据的数据库"  # 可选，添加描述信息
  )
  

• 验证创建结果：

  # 列出所有命名空间（即数据库）
  print(spark.catalog.listNamespaces())
  # 切换到新创建的数据库
  spark.catalog.setCurrentNamespace("my_custom_db")
  

• 注意事项：

  • 不同Spark版本对createNamespace的参数支持略有差异，部分版本需通过properties参数传递额外配置
  • 若无需额外配置，仅传递数据库名称即可：spark.catalog.createNamespace("my_custom_db")

内容的提问来源于stack exchange，提问作者Brian