Laravel 11商品过滤查询优化咨询：如何提升大数据集性能？

场景说明 #

我正在使用Laravel Framework 11.20.0与PHP 8.3.10开发商品过滤系统，现有查询作用域代码可正常运行，但希望优化大数据集下的查询性能。当前代码如下：

public function applyFilters($query, Request $request)
{
    if ($request->has('price_from')) {
        $query->where('product_price', '>=', $request->get('price_from'));
    }

    if ($request->has('price_to')) {
        $query->where('product_price', '<=', $request->get('price_to'));
    }

    if ($request->has('store')) {
        $query->where('store_id', '=', $request->get('store'));
    }

    if ($request->has('category')) {
        $query->whereHas('category', function ($q) use ($request) {
            $q->where('category_name', $request->get('category'));
        });
    }

    return $query;
}

性能优化最佳实践 #

1. 数据库索引优化（核心） #

大数据集下，索引是提升查询速度最有效的手段，针对过滤字段创建合适的索引：

• 给products表的product_price、store_id、category_id（关联分类的外键）添加普通索引
• 给categories表的category_name添加普通索引（因为用分类名称过滤）

示例迁移代码：

// 给products表添加索引
Schema::table('products', function (Blueprint $table) {
    $table->index('product_price');
    $table->index('store_id');
    $table->index('category_id');
});

// 给categories表添加索引
Schema::table('categories', function (Blueprint $table) {
    $table->index('category_name');
});

2. 参数类型转换与验证 #

避免数据库隐式类型转换（会导致索引失效），同时提前拦截无效请求：

• 对数值型参数（如price_from、price_to）使用类型转换方法，确保传入数值类型
• 对store、category参数做存在性验证，避免无效查询

优化后的参数处理示例：

// 价格参数转浮点型
$priceFrom = $request->float('price_from');
$priceTo = $request->float('price_to');

// 合并价格区间查询，减少SQL条件
if ($priceFrom && $priceTo) {
    $query->whereBetween('product_price', [$priceFrom, $priceTo]);
} else {
    if ($priceFrom) $query->where('product_price', '>=', $priceFrom);
    if ($priceTo) $query->where('product_price', '<=', $priceTo);
}

// 店铺ID转整型
if ($storeId = $request->integer('store')) {
    // 可选：验证店铺ID是否存在
    if (Store::exists($storeId)) {
        $query->where('store_id', $storeId);
    }
}

// 分类名称过滤，先验证存在性
if ($categoryName = $request->string('category')) {
    if (Category::where('category_name', $categoryName)->exists()) {
        $query->whereHas('category', fn($q) => $q->where('category_name', $categoryName));
    }
}

3. 简化条件逻辑，减少重复代码 #

将过滤条件抽象为数组循环处理，提升代码可维护性的同时避免重复判断：

public function applyFilters($query, Request $request)
{
    // 基础过滤条件映射
    $basicFilters = [
        'price_from' => fn($q, $val) => $q->where('product_price', '>=', $val),
        'price_to' => fn($q, $val) => $q->where('product_price', '<=', $val),
        'store' => fn($q, $val) => $q->where('store_id', $val),
    ];

    // 处理基础条件
    foreach ($basicFilters as $param => $handler) {
        if ($value = $request->input($param)) {
            // 根据参数类型转换
            $value = match($param) {
                'price_from', 'price_to' => (float)$value,
                'store' => (int)$value,
                default => $value
            };
            $handler($query, $value);
        }
    }

    // 处理分类关联过滤
    if ($categoryName = $request->string('category')) {
        $query->whereHas('category', fn($q) => $q->where('category_name', $categoryName));
    }

    return $query;
}

4. 优化关联查询性能 #

• 使用join替代whereHas，适合需要同时获取分类字段的场景，减少子查询开销：

if ($categoryName = $request->string('category')) {
    $query->join('categories', 'products.category_id', '=', 'categories.id')
          ->where('categories.category_name', $categoryName)
          ->select('products.*'); // 避免字段冲突
}

• 不要额外加载关联模型（除非需要），避免N+1查询。

5. 限制结果集大小 #

大数据集下绝对不要返回全部数据，使用分页或限制条数：

// 在控制器中调用时使用分页
$products = Product::query()->applyFilters($request)->paginate(20);
// 或简单分页（无总条数统计，性能更高）
$products = Product::query()->applyFilters($request)->simplePaginate(20);

6. 缓存高频过滤结果 #

对热门过滤条件（如热门分类、常用价格区间）的查询结果进行缓存，减少数据库查询次数：

// 生成缓存键
$cacheKey = 'products_filter_' . md5(serialize($request->only(['price_from', 'price_to', 'store', 'category'])));

// 尝试从缓存获取
$products = Cache::remember($cacheKey, 3600, function () use ($request) {
    return Product::query()->applyFilters($request)->paginate(20);
});

7. 只查询需要的字段 #

避免使用select *，明确指定需要返回的字段，减少数据读取和传输开销：

$products = Product::query()
    ->select('id', 'product_name', 'product_price', 'store_id')
    ->applyFilters($request)
    ->paginate(20);

8. 数据库层面优化 #

• 配置读写分离，将查询请求路由到读库，减轻主库压力
• 定期优化表（OPTIMIZE TABLE products），整理碎片提升查询效率

内容的提问来源于stack exchange，提问作者EL-Amrani Youssef