如何遍历PostgreSQL的jsonb列大数组且不占用过多内存？

方法一：数据库层面拆分数组（推荐） #

利用PostgreSQL的jsonb_array_elements函数将大JSONB数组拆分为单行记录，避免将整个数组加载到PHP内存，同时复用模型的类型转换逻辑：

模型扩展方法 #

class Item extends Model
{
    protected $casts = [
        'data' => 'array'
    ];

    // 返回拆分后单个元素的查询构造器（生成器模式）
    public function dataElements()
    {
        return DB::table($this->getTable())
            ->select('jsonb_array_elements(data) as element')
            ->where('id', $this->id)
            ->cursor();
    }
}

遍历实现 #

$item = Item::find($targetItemId);
foreach ($item->dataElements() as $row) {
    // 复用模型内置的类型转换，将JSON字符串转为数组
    $element = $this->castAttribute('data', $row->element);
    // 处理单个元素逻辑
    echo "处理ID为{$element['id']}的条目" . PHP_EOL;
}

cursor()返回的是Illuminate\Support\LazyCollection，会逐行从数据库拉取数据，不会一次性加载所有记录到内存。

方法二：流式读取并解析JSONB #

若无法修改查询逻辑，可通过PostgreSQL的流式读取获取JSONB内容，再用PHP流式JSON解析器处理，同时复用模型类型转换：

步骤1：获取JSONB流 #

$item = Item::find($targetItemId, ['id']);
$pdo = DB::connection()->getPdo();
$stmt = $pdo->prepare("SELECT data FROM items WHERE id = :id");
$stmt->execute([':id' => $item->id]);
// 获取原始JSONB内容（以字符串形式返回，避免自动解析）
$jsonContent = $stmt->fetchColumn(0);

步骤2：流式解析并转换 #

使用salsify/json-streaming-parser包实现流式解析（需先通过composer require salsify/json-streaming-parser安装）：

use JsonStreamingParser\Parser;
use JsonStreamingParser\Listener\ListenerInterface;

// 自定义监听器，处理每个数组元素
class ItemElementListener implements ListenerInterface
{
    private $model;
    private $inObject = false;
    private $currentObject = [];
    private $currentKey;

    public function __construct(Item $model)
    {
        $this->model = $model;
    }

    public function startDocument() {}
    public function endDocument() {}
    public function startArray() {}
    public function endArray() {}

    public function startObject()
    {
        $this->inObject = true;
        $this->currentObject = [];
    }

    public function endObject()
    {
        $this->inObject = false;
        // 复用模型的类型转换逻辑
        $element = $this->model->castAttribute('data', json_encode($this->currentObject));
        // 处理单个元素
        var_dump($element);
    }

    public function key($key)
    {
        $this->currentKey = $key;
    }

    public function value($value)
    {
        if ($this->inObject) {
            $this->currentObject[$this->currentKey] = $value;
        }
    }
}

// 执行流式解析
$stream = fopen('php://memory', 'r+');
fwrite($stream, $jsonContent);
rewind($stream);

$parser = new Parser($stream, new ItemElementListener($item));
$parser->parse();
fclose($stream);

核心注意点 #

• 绝对禁止直接调用$item->data，该操作会将整个JSONB数组加载到内存并转换为PHP数组，必然触发内存溢出。
• 方法一的性能远优于方法二，因为数据库层面的拆分更高效，且避免了PHP端的大量JSON解析开销。
• 复用castAttribute方法可确保和模型中data字段的类型转换逻辑一致，无需重复编写JSON转数组的代码。

内容的提问来源于stack exchange，提问作者Marcos DaSilva