在集群范围的初始化脚本中从dbfs中复制文件

在集群范围的初始化脚本中从DBFS中复制文件，可以使用以下代码示例：

1. 创建一个集群范围的初始化脚本（例如 init_script.sh），并将其上传到 DBFS 中。

2. 在初始化脚本中，使用以下代码从 DBFS 中复制文件：

# 指定要复制的源文件路径和目标文件路径
src_path="dbfs:/path/to/source/file"
dst_path="/path/to/destination/file"

# 复制文件
dbutils.fs.cp "$src_path" "$dst_path"

3. 在集群启动时，指定该初始化脚本作为集群范围的初始化脚本。可以使用以下代码：

from databricks_cli.sdk.api_client import ApiClient

# 创建一个 API 客户端对象
api_client = ApiClient()

# 获取当前集群的 ID
cluster_id = api_client.perform_query('GET', '/clusters/get', data={})['cluster_id']

# 指定初始化脚本路径
init_script_path = "dbfs:/path/to/init_script.sh"

# 添加集群范围的初始化脚本
api_client.perform_query('POST', f'/clusters/edit?cluster_id={cluster_id}',
                         data={'cluster_id': cluster_id,
                               'spark_conf': {'spark.databricks.initScripts': init_script_path}})

这样，在集群启动时，初始化脚本将自动从 DBFS 中复制文件到指定位置。请确保将 src_path 和 dst_path 替换为实际的源文件路径和目标文件路径。