基于EF Core与OData拆分Oracle大表模型并保留查询能力的求助

一、投影DTO+OData查询支持 #

针对不同业务场景创建仅包含所需字段的DTO，通过EF Core的IQueryable投影实现按需查询，避免加载全表，同时保留OData的过滤、排序、分页等能力。

1. 定义场景化DTO

// 基础信息场景DTO
public class CustomerBasicDto
{
    public int Id { get; set; }
    public string Name { get; set; }
    public string Email { get; set; }
}

// 详细信息场景DTO
public class CustomerDetailDto
{
    public int Id { get; set; }
    public string Name { get; set; }
    public string Email { get; set; }
    public string Address { get; set; }
    public DateTime RegisterTime { get; set; }
}

2. 控制器中返回投影后的IQueryable

[ApiController]
[Route("odata")]
public class CustomerODataController : ODataController
{
    private readonly AppDbContext _dbContext;

    public CustomerODataController(AppDbContext dbContext)
    {
        _dbContext = dbContext;
    }

    [EnableQuery]
    [Route("CustomerBasic")]
    public IQueryable<CustomerBasicDto> GetCustomerBasic()
    {
        return _dbContext.Customers.Select(c => new CustomerBasicDto
        {
            Id = c.Id,
            Name = c.Name,
            Email = c.Email
        });
    }

    [EnableQuery]
    [Route("CustomerDetail")]
    public IQueryable<CustomerDetailDto> GetCustomerDetail()
    {
        return _dbContext.Customers.Select(c => new CustomerDetailDto
        {
            Id = c.Id,
            Name = c.Name,
            Email = c.Email,
            Address = c.Address,
            RegisterTime = c.RegisterTime
        });
    }
}

3. 配置OData模型
   在Startup/Program中注册DTO的实体集：

builder.Services.AddControllers().AddOData(options =>
{
    options.Select().Filter().OrderBy().Top().Skip().Expand().Count();
    options.AddRouteComponents("odata", GetEdmModel());
});

private static IEdmModel GetEdmModel()
{
    ODataConventionModelBuilder builder = new ODataConventionModelBuilder();
    builder.EntitySet<CustomerBasicDto>("CustomerBasic");
    builder.EntitySet<CustomerDetailDto>("CustomerDetail");
    return builder.GetEdmModel();
}

此方案中，EF会将OData查询转换为仅筛选目标列的SQL，完全避免全表加载。

二、EF Core表拆分（Table Splitting） #

如果大表的列可按逻辑分组（如基础信息、扩展信息），可将单表映射为多个关联实体，每个实体仅包含部分列，既实现模型拆分，又保留OData的完整查询能力。

1. 定义拆分后的实体

// 基础信息实体
public class Customer
{
    public int Id { get; set; }
    public string Name { get; set; }
    public string Email { get; set; }
    // 关联扩展信息实体
    public CustomerExtra Extra { get; set; }
}

// 扩展信息实体
public class CustomerExtra
{
    public int Id { get; set; }
    public string Address { get; set; }
    public DateTime RegisterTime { get; set; }
    // 关联基础信息实体
    public Customer Customer { get; set; }
}

2. 配置DbContext的表拆分映射

protected override void OnModelCreating(ModelBuilder modelBuilder)
{
    // 映射到同一张数据库表
    modelBuilder.Entity<Customer>().ToTable("CUSTOMERS");
    
    modelBuilder.Entity<CustomerExtra>()
        .ToTable("CUSTOMERS")
        .HasOne(e => e.Customer)
        .WithOne(c => c.Extra)
        .HasForeignKey<CustomerExtra>(e => e.Id);
}

3. 控制器中暴露拆分后的实体集

[EnableQuery]
[Route("Customers")]
public IQueryable<Customer> GetCustomers()
{
    return _dbContext.Customers;
}

[EnableQuery]
[Route("CustomerExtras")]
public IQueryable<CustomerExtra> GetCustomerExtras()
{
    return _dbContext.CustomerExtras;
}

查询Customers时仅加载基础列，查询CustomerExtras时仅加载扩展列，OData的$filter、$orderby等操作会被转换为对应SQL，不会加载全表。

三、OData实体集投影配置 #

无需创建多个实体，直接在OData模型中为原大实体定义多个实体集，每个实体集指定不同的可见属性，通过投影实现按需返回字段。

1. 配置OData模型

private static IEdmModel GetEdmModel()
{
    ODataConventionModelBuilder builder = new ODataConventionModelBuilder();
    
    // 基础信息实体集
    var basicSet = builder.EntitySet<Customer>("CustomerBasic");
    basicSet.EntityType.Select().Filter().OrderBy().Top().Skip();
    // 仅保留指定属性
    var allowedBasicProps = new[] { "Id", "Name", "Email" };
    basicSet.EntityType.Properties()
        .Where(p => !allowedBasicProps.Contains(p.Name))
        .ToList()
        .ForEach(p => p.IsIgnored = true);
    
    // 详细信息实体集
    var detailSet = builder.EntitySet<Customer>("CustomerDetail");
    detailSet.EntityType.Select().Filter().OrderBy().Top().Skip();
    // 保留所有属性（或指定更多属性）
    detailSet.EntityType.Properties().ToList().ForEach(p => p.IsIgnored = false);
    
    return builder.GetEdmModel();
}

2. 控制器中返回投影后的IQueryable

[EnableQuery]
[Route("CustomerBasic")]
public IQueryable<Customer> GetCustomerBasic()
{
    return _dbContext.Customers.Select(c => new Customer
    {
        Id = c.Id,
        Name = c.Name,
        Email = c.Email
    });
}

[EnableQuery]
[Route("CustomerDetail")]
public IQueryable<Customer> GetCustomerDetail()
{
    return _dbContext.Customers;
}

此方案适合不想创建过多DTO的场景，通过OData模型限制返回字段，同时保证查询效率。

关键注意事项 #

• 禁用EF Core客户端评估：在DbContext配置中添加ConfigureWarnings(w => w.Throw(RelationalEventId.QueryClientEvaluationWarning))，避免因意外客户端评估导致全表加载。
• 强制分页：通过OData配置或业务逻辑限制$top的最大值，防止一次性返回数百万行数据。
• 测试SQL生成：使用EF Core的日志功能查看生成的SQL，确认仅查询所需列，确保性能符合预期。

内容的提问来源于stack exchange，提问作者El Barto