Azure函数部署后无法连接Azure Databricks SQL的排查求助

问题描述 #

使用VS 2022开发Azure Function项目，通过Apache Spark ODBC驱动连接Azure Databricks SQL表，本地运行HTTP函数端点正常，但发布到Azure Portal后返回HTTP ERROR 500。查看Application Insights日志发现核心错误：

Result: Failure Exception: System.DllNotFoundException: Dependency unixODBC with minimum version 2.3.1 is required. Unable to load shared library 'libodbc.so.2' or one of its dependencies. ... at FetchData() in C:\MY_PROJECT\MyFunction.cs:line 54

疑问点：

• 如何在Azure Portal排查/配置函数端点？
• 是否需要借助Azure SQL、Azure Data Factory、Azure Synapse等服务作为访问Databricks的网关？
• host.json是否需要额外设置？

解决方案 #

1. 修复unixODBC依赖缺失问题 #

Azure Functions的Linux托管环境默认未预装unixODBC库，这是导致找不到libodbc.so.2的直接原因，可通过两种方式解决：

• 自定义部署脚本：在项目中添加.deployment文件和deploy.sh部署脚本，在脚本中执行以下命令，让部署过程自动安装依赖：

  sudo apt-get update && sudo apt-get install -y unixodbc unixodbc-dev
  

• 容器化部署：将Azure Function打包为Docker镜像，在Dockerfile中添加安装unixODBC的步骤，示例：

  FROM mcr.microsoft.com/azure-functions/dotnet:4
  RUN apt-get update && apt-get install -y unixodbc unixodbc-dev
  COPY . /home/site/wwwroot
  ENV AzureWebJobsScriptRoot=/home/site/wwwroot
  

  把镜像推送到Azure Container Registry后，配置Azure Functions使用该镜像运行。

2. 替代方案：绕过ODBC依赖 #

如果不想处理系统依赖问题，可以改用Databricks官方提供的.NET SDK或REST API直接访问Databricks SQL：

• 使用Databricks.SqlClient NuGet包，直接通过Databricks SQL端点执行查询，无需ODBC驱动，示例代码片段：

  using Databricks.SqlClient;
  var connectionString = "Server=your-databricks-sql-endpoint-host;Port=443;HttpPath=/sql/1.0/warehouses/your-warehouse-id;Token=your-access-token";
  using var connection = new DatabricksSqlConnection(connectionString);
  connection.Open();
  // 执行查询逻辑
  

3. 关于中间服务的必要性 #

不需要借助Azure SQL、ADF或Synapse作为网关，Azure Functions可以直接连接Azure Databricks SQL。当前问题的核心是运行环境缺少ODBC依赖，而非架构层面的连通性问题。

4. host.json配置说明 #

当前场景下无需修改host.json，该文件主要用于配置函数运行时的行为（如触发器规则、日志级别等），和ODBC依赖问题无关。

内容的提问来源于stack exchange，提问作者adventureworks