能否通过C#代码将SQL数据库查询迁移至同Schema的Azure Data Lake执行？

完全可以通过C#代码实现这个需求，以下是两种实用的落地方案，适配不同的Azure Data Lake使用场景：

方案1：基于Azure Synapse无服务器SQL池 #

Azure Synapse无服务器SQL池支持直接查询Azure Data Lake Storage（ADLS）中的数据，且语法与标准T-SQL高度兼容，你的现有SQL查询大部分可以直接复用。只需通过C#连接到Synapse的无服务器端点，执行原有查询即可。

代码示例 #

using Microsoft.Data.SqlClient;

// 替换为你的Synapse无服务器实例信息
string synapseServer = "your-synapse-server.sql.azuresynapse.net";
string database = "your-database";
string username = "your-username";
string password = "your-password";
string connectionString = $"Server=tcp:{synapseServer},1433;Database={database};User ID={username};Password={password};Encrypt=True;TrustServerCertificate=False;Connection Timeout=30;";

// 你的原有SQL查询语句
string originalSql = "SELECT * FROM YourTable WHERE Status = 'Active'";

using (SqlConnection conn = new SqlConnection(connectionString))
{
    conn.Open();
    using (SqlCommand cmd = new SqlCommand(originalSql, conn))
    {
        using (SqlDataReader reader = cmd.ExecuteReader())
        {
            // 处理查询结果的逻辑
            while (reader.Read())
            {
                // 示例：读取字段值
                int id = reader.GetInt32(0);
                string name = reader.GetString(1);
            }
        }
    }
}

关键说明 #

• 若ADLS中的数据以Parquet/CSV等文件形式存储，需先在Synapse中创建外部表映射ADLS路径，映射完成后即可完全复用原有SQL查询；也可直接用OPENROWSET语句直接查询文件路径：

  SELECT * FROM OPENROWSET(
      BULK 'https://your-adls-account.dfs.core.windows.net/container/data/*.parquet',
      FORMAT = 'PARQUET'
  ) AS YourTable
  

• 确保Synapse无服务器实例拥有ADLS的读取权限。

方案2：用.NET for Apache Spark操作ADLS数据 #

如果需要对ADLS中的数据进行复杂处理，可通过.NET for Apache Spark读取ADLS文件，再用Spark SQL执行原有查询。Spark SQL对标准SQL支持完善，多数原有查询无需修改。

代码示例 #

using Microsoft.Spark.Sql;

// 初始化Spark会话
SparkSession spark = SparkSession.Builder()
    .AppName("ADLS SQL Query")
    // 配置ADLS访问密钥
    .Config("spark.hadoop.fs.azure.account.key.your-adls-account.dfs.core.windows.net", "your-adls-access-key")
    .GetOrCreate();

// 读取ADLS中的Parquet文件（与原有SQL表结构一致）
DataFrame dataFrame = spark.Read().Parquet("abfss://container@your-adls-account.dfs.core.windows.net/path/to/data");

// 注册临时视图，复用原有SQL
dataFrame.CreateOrReplaceTempView("YourTable");
string originalSql = "SELECT * FROM YourTable WHERE Status = 'Active'";
DataFrame result = spark.Sql(originalSql);

// 输出或处理结果
result.Show();
spark.Stop();

关键说明 #

• 若ADLS中是CSV文件，需指定schema匹配原有SQL表结构，避免字段类型不匹配：

  var schema = "Id INT, Name STRING, Status STRING";
  DataFrame dataFrame = spark.Read().Schema(schema).Csv("abfss://container@your-adls-account.dfs.core.windows.net/path/to/csv");
  

• 需确保C#项目引用Microsoft.Spark NuGet包。

注意事项 #

• 权限配置：C#程序需拥有ADLS的读取权限，可通过服务主体、账号密钥或Azure托管身份实现；
• 查询兼容性：少数T-SQL特有语法（如TOP需替换为LIMIT）可能需要微调，标准SQL语句可直接复用；
• 数据格式：优先使用Parquet等列式存储格式，提升查询性能与兼容性。

内容的提问来源于stack exchange，提问作者Darin