Playwright并行测试瓶颈处理及跨步骤数据传递问题

一、CSV文件传递数据完全可行，需重点处理并发与重试 #

用CSV传递步骤1到步骤3的数据是靠谱的方案，但要解决两个核心问题：并发写入冲突和重试时的数据复用：

• 并发写入处理：
  避免多个并行测试直接写入同一个CSV文件（易出现数据错乱），可以让每个测试生成独立的临时CSV片段（比如test-${testName}.csv），等所有步骤1测试完成后，用脚本合并所有片段为完整CSV。或者使用文件锁机制，确保同一时间只有一个测试写入主文件。

  示例代码（Node.js环境）：

  // 步骤1测试中生成数据并写入临时文件
  const testName = test.info().title;
  const tempFile = `./temp/${testName}.csv`;
  const data = `${recordId},${expectedValue}\n`;
  await fs.promises.writeFile(tempFile, data, { flag: 'w' });
  
  // 所有步骤1测试完成后，合并临时文件到主CSV（可在全局teardown或单独脚本执行）
  const tempFiles = await fs.promises.readdir('./temp');
  const writeStream = fs.createWriteStream('./step1-data.csv');
  for (const file of tempFiles) {
    const content = await fs.promises.readFile(`./temp/${file}`, 'utf8');
    writeStream.write(content);
    await fs.promises.unlink(`./temp/${file}`);
  }
  writeStream.end();
  

• 重试时的数据复用：
  步骤1测试启动前，先检查临时文件或主CSV中是否已有当前测试的记录。如果有，直接读取复用，跳过生成逻辑；如果没有，再执行步骤1生成数据并写入。

  示例代码：

  test('步骤1 - 生成数据', async ({ page }) => {
    const testName = test.info().title;
    const tempFile = `./temp/${testName}.csv`;
    let recordId, expectedValue;
  
    // 重试时优先复用已有数据
    try {
      const content = await fs.promises.readFile(tempFile, 'utf8');
      [recordId, expectedValue] = content.trim().split(',');
    } catch (e) {
      // 无数据时执行生成逻辑
      recordId = await generateRecord(page);
      expectedValue = await getExpectedValue(page);
      await fs.promises.writeFile(tempFile, `${recordId},${expectedValue}\n`, { flag: 'w' });
    }
  });
  

二、更优方案：拆分测试套件+共享存储 #

如果测试规模较大，用拆分测试套件+共享缓存/数据库的方案比文件更可靠：

1. 拆分三个独立测试套件：

   • step1.spec.js：仅包含所有测试的步骤1，并行执行，生成数据后存入共享存储（带测试唯一标识）。
   • step2.spec.js：仅包含全局步骤2，单独执行，需等待step1所有测试完成后启动。
   • step3.spec.js：读取共享存储的数据，并行执行所有测试的步骤3，每个测试根据自身标识获取对应数据。

2. 用Redis做共享存储（推荐）：
   Redis支持并发读写，还能设置数据过期时间避免残留。步骤1测试生成数据后，以测试名称为key存入Redis；步骤3测试直接读取对应key的数据即可，重试时无需重新生成。

   示例代码：

   const redis = require('redis');
   const client = redis.createClient();
   await client.connect();
   
   // 步骤1存入Redis
   test('步骤1 - 生成数据', async ({ page }) => {
     const testName = test.info().title;
     let data = await client.get(testName);
     if (!data) {
       const recordId = await generateRecord(page);
       const expectedValue = await getExpectedValue(page);
       data = JSON.stringify({ recordId, expectedValue });
       await client.set(testName, data);
     }
   });
   
   // 步骤3读取Redis
   test('步骤3 - 验证数据', async ({ page }) => {
     const testName = test.info().title;
     const data = JSON.parse(await client.get(testName));
     await validateRecord(page, data.recordId, data.expectedValue);
   });
   

3. 控制执行顺序：
   用npm脚本串联三个步骤：

   "scripts": {
     "test:step1": "playwright test step1.spec.js --retries=2",
     "test:step2": "playwright test step2.spec.js --retries=2",
     "test:step3": "playwright test step3.spec.js --retries=2",
     "test:all": "npm run test:step1 && npm run test:step2 && npm run test:step3"
   }
   

三、关键注意事项 #

• 测试唯一标识：每个测试必须有唯一名称或ID，确保数据精准对应，避免混淆。
• 清理机制：每次测试前清理旧的存储文件/Redis数据，防止残留数据干扰结果。
• 重试逻辑：无论用文件还是Redis，都要在测试启动前检查已有数据，优先复用，避免重试时重复执行步骤1。

内容的提问来源于stack exchange，提问作者KHeidtman