如何运行大查询避免超时或内存限制错误？

你现在碰到的问题在批量处理大数据量时太常见了——循环里重复查数据库、一次性加载所有帖子直接把内存和数据库连接池撑爆，WordPress插件之所以能流畅跑，核心就是做了批量分治和查询优化，给你几个落地的优化方案：

1. 干掉循环内的重复查询（最核心优化） #

你当前每处理一条帖子就跑一次COUNT(*)，数千条帖子就会产生数千次数据库请求，这是性能瓶颈的根源。改成一次性批量查询所有已存在的ID：

// 先把要处理的帖子ID提取成数组
$post_ids = wp_list_pluck($all_posts, 'ID');
// 批量拉取目标库中已存在的ID
$existing_ids = $tempdb->get_col(
    "SELECT ID FROM " . $tempdb->prefix . "posts WHERE ID IN (" . implode(',', array_map('intval', $post_ids)) . ")"
);
// 转成键值对，判断存在性的效率从O(n)降到O(1)
$existing_ids_map = array_flip($existing_ids);

之后循环时直接用isset($existing_ids_map[$row->ID])判断，再也不用每次查数据库：

foreach($all_posts as $row ) {
    if(isset($existing_ids_map[$row->ID])) {
        // 执行更新逻辑
    }
}

2. 分块处理，别一次性加载所有帖子 #

一次性把数千条帖子塞进内存，直接就会触发内存限制。用分页查询分批次处理，比如每次处理50条（可以根据服务器性能调整）：

$batch_size = 50;
// 先获取源数据总条数
$total_posts = $source_db->get_var("SELECT COUNT(*) FROM " . $source_db->prefix . "posts WHERE ..."); // 替换成你的源数据筛选条件
$total_pages = ceil($total_posts / $batch_size);

for($page = 1; $page <= $total_pages; $page++) {
    $offset = ($page - 1) * $batch_size;
    // 分页拉取当前批次的帖子
    $all_posts = $source_db->get_results(
        "SELECT * FROM " . $source_db->prefix . "posts WHERE ... LIMIT $offset, $batch_size"
    );
    
    // 这里执行「批量查询已存在ID + 更新」的逻辑
    
    // 手动释放内存，避免堆积
    unset($all_posts);
    wp_cache_flush(); // 清理WP缓存，进一步减少内存占用
}

3. 用批量更新代替单条更新（再砍查询次数） #

如果你的更新逻辑可以统一，或者能按ID分组，用CASE WHEN写批量更新SQL，把N次更新查询变成1次：

// 先收集所有需要更新的字段和ID
$update_clauses = [];
$target_ids = [];
foreach($all_posts as $row ) {
    if(isset($existing_ids_map[$row->ID])) {
        $target_id = intval($row->ID);
        $target_ids[] = $target_id;
        // 替换成你的实际更新字段，比如post_content、post_status等
        $update_clauses[] = "WHEN ID = $target_id THEN '" . $tempdb->esc_sql($row->post_content) . "'";
    }
}

if(!empty($update_clauses)) {
    $update_query = "UPDATE " . $tempdb->prefix . "posts 
                     SET post_content = CASE " . implode(' ', $update_clauses) . " END
                     WHERE ID IN (" . implode(',', $target_ids) . ")";
    $tempdb->query($update_query);
}

4. 临时禁用不必要的钩子和缓存 #

WordPress的save_post、post_updated等钩子会触发很多额外操作（比如生成缩略图、更新搜索索引），批量处理时可以临时关掉这些钩子，节省资源：

// 处理前禁用钩子（根据你的实际场景调整要禁用的钩子）
remove_action('save_post', 'wp_save_post_revision');
remove_action('post_updated', 'wp_clean_post_cache');
// 临时禁用自动保存和修订版
define('AUTOSAVE_INTERVAL', 0);
define('WP_POST_REVISIONS', false);

// 执行批量处理逻辑

// 处理完恢复钩子
add_action('save_post', 'wp_save_post_revision');
add_action('post_updated', 'wp_clean_post_cache');

5. 临时调整PHP配置（应急方案） #

如果以上优化后还是偶尔超时，可以在代码开头临时提高内存和执行时间（这只是应急，核心还是要靠代码优化）：

// 把内存限制提高到256M（根据服务器配置调整）
ini_set('memory_limit', '256M');
// 把执行时间延长到5分钟（300秒）
set_time_limit(300);

内容的提问来源于stack exchange，提问作者andrew jaff