能否通过Azure Databricks（Python）监控内部应用URL响应码？

当然可以借助Azure Databricks实现这类内部应用监控需求，以下是具体的实现方案：

前提准备 #

确保你的Azure Databricks集群能够访问目标内部应用的URL：

• 如果内部应用部署在企业VNet中，需要将Databricks集群所在VNet与内部VNet做对等连接，或者通过VPN/Express Route打通网络
• 验证集群可访问性：可以在集群笔记本中执行简单的测试命令确认连通性

Python实现核心逻辑 #

我们可以用Python的requests库发送HTTP请求并获取响应码，以下是完整的示例代码：

1. 安装依赖（如果集群未预装） #

如果你的Databricks集群没有requests库，先在笔记本中执行安装命令：

%pip install requests

2. 编写监控函数 #

import requests
from requests.exceptions import RequestException

def check_app_health(url, timeout=10):
    """检查单个应用URL的响应码"""
    result = {
        "url": url,
        "status_code": None,
        "status": "UNKNOWN",
        "error_message": None
    }
    try:
        response = requests.get(url, timeout=timeout)
        result["status_code"] = response.status_code
        if response.status_code == 200:
            result["status"] = "HEALTHY"
        elif 400 <= response.status_code < 500:
            result["status"] = "CLIENT_ERROR"
        elif 500 <= response.status_code < 600:
            result["status"] = "SERVER_ERROR"
    except RequestException as e:
        result["error_message"] = str(e)
        result["status"] = "UNREACHABLE"
    return result

# 批量监控多个应用
app_urls = [
    "https://myapp.company.com/",
    "https://myapp2.company.com/",
    "https://myapp3.company.com/"
]

health_results = [check_app_health(url) for url in app_urls]

# 将结果转为DataFrame方便后续处理
import pandas as pd
health_df = pd.DataFrame(health_results)
display(health_df)

扩展优化方案 #

• 定时执行：将上述代码封装为Databricks Job，设置固定调度周期（如每5分钟、每小时）自动运行
• 持久化结果：将监控结果写入Delta Lake表，方便历史查询和趋势分析：

  health_df.write.format("delta").mode("append").save("/dbfs/mnt/app_monitoring/health_results")
  

• 告警集成：结合Azure Monitor，当检测到SERVER_ERROR或UNREACHABLE状态时，触发邮件、Teams消息或短信告警
• 可视化仪表盘：用Databricks SQL创建监控仪表盘，展示各应用的健康状态趋势

内容的提问来源于stack exchange，提问作者sgrewal116