随笔.md

TimeoutError: Navigation timeout of 30000 ms exceeded 为什么puppeteer经常出现这个错误

在使用 Puppeteer 进行网页自动化或爬虫开发时，TimeoutError: Navigation timeout of 30000 ms exceeded 错误是一个常见问题。这个错误意味着 Puppeteer 在尝试加载页面或执行某个操作时超出了预设的最大等待时间（默认为 30,000 毫秒，即 30 秒）。这种情况通常由以下几个原因引起：

1. 网页加载慢

网页可能因为多种原因加载缓慢：

• 网络连接慢。
• 服务器响应时间长。
• 页面资源（如大型图片、视频或复杂的 JavaScript）多且复杂，加载时间长。

2. 重定向

有些网页在加载过程中可能会进行多次重定向，这些重定向可能会导致总加载时间超过设定的超时限制。

3. JavaScript 执行延迟

如果网页依赖于复杂的 JavaScript 或外部脚本执行完成才能呈现，且这些脚本执行缓慢，可能会触发超时错误。

4. 服务器问题

服务器可能会由于各种原因（例如高负载、维护或配置问题）响应缓慢，导致页面加载延迟。

解决策略

要解决或规避这个问题，可以采取以下几种方法：

a. 增加超时时间

如果你认为页面需要更长时间加载，可以增加超时设置：

await page.goto('http://example.com', {waitUntil: 'networkidle0', timeout: 60000}); // 设置超时时间为60秒

b. 修改等待条件

Puppeteer 在等待 networkidle0 或 networkidle2 事件时可能会超时。这些事件分别代表没有网络连接或只有两个网络连接在指定时间内处于空闲状态。你可以改变等待策略以更适应页面的加载方式：

await page.goto('http://example.com', {waitUntil: 'domcontentloaded'});

这会让 Puppeteer 等待到 DOM 内容加载完成即继续执行，而不是等待所有外部资源加载完成。

c. 检查和优化页面加载项

如果你对服务器或页面有控制权，尝试优化网页性能。这可能包括减少页面资源大小、优化图片和使用更快的服务器。

d. 错误处理

增加错误处理逻辑，当加载超时时采取其他操作，例如重试或记录错误：

try {
    await page.goto('http://example.com', {waitUntil: 'networkidle0', timeout: 30000});
} catch (error) {
    console.error('Navigation timeout exceeded: ' + error.message);
    // 可以在此处添加重试逻辑或其他错误处理代码
}

e. 使用 headless:false 调试

在开发过程中，设置 headless:false 来观察 Puppeteer 在浏览器中实际执行的情况可能有助于发现问题原因：

const browser = await puppeteer.launch({headless: false});

通过上述方法，你可以有效地解决或减少遇到 TimeoutError: Navigation timeout of 30000 ms exceeded 错误的情况，从而提高 Puppeteer 脚本的稳定性和效率。