如何通过Python识别运行环境：区分Databricks与普通Linux/Windows节点

一、无需dbutils/SparkSession的Databricks识别方法 #

Databricks底层基于Linux，但具备几个独有的系统特征，可用来区分普通Linux节点：

• 检查专属环境变量：Databricks Runtime会自动设置DATABRICKS_RUNTIME_VERSION环境变量，普通Linux系统不会存在该变量，这是最可靠的判断依据。
• 验证专属目录：Databricks节点默认存在/databricks目录（存放平台工具与配置文件），普通Linux环境一般不会生成这个目录，可作为备选判断条件。

二、环境识别代码实现 #

import os
import platform

def get_runtime_environment():
    system = platform.system()
    if system == "Windows":
        return "windows"
    elif system == "Linux":
        # 优先检查Databricks环境变量
        if os.environ.get("DATABRICKS_RUNTIME_VERSION") is not None:
            return "databricks"
        # 备选检查专属目录
        elif os.path.exists("/databricks"):
            return "databricks"
        else:
            return "linux"
    else:
        return "unknown"

三、适配不同环境的文件操作逻辑 #

根据识别结果，分别处理不同文件系统的操作：

def perform_file_operation():
    env = get_runtime_environment()
    if env in ["windows", "linux"]:
        # Windows/Linux本地文件系统操作示例
        with open("./local_test.txt", "w") as f:
            f.write("Local system file content")
        print("本地文件创建完成")
    elif env == "databricks":
        # Databricks挂载ADLS的操作示例（假设挂载点为/mnt/adls）
        adls_path = "/mnt/adls/databricks_test.txt"
        # Databricks上操作挂载点与本地文件语法一致
        with open(adls_path, "w") as f:
            f.write("ADLS file content from Databricks")
        print("ADLS文件创建完成")
    else:
        print("不支持的运行环境")

四、注意事项 #

• 环境变量DATABRICKS_RUNTIME_VERSION覆盖所有Databricks Runtime版本，稳定性最高；
• 上述逻辑仅依赖Python标准库，打包wheel包时无需额外引入依赖，兼容性强；
• Databricks上操作ADLS挂载点的语法与本地文件操作一致，无需修改核心读写逻辑。

内容的提问来源于stack exchange，提问作者shankar