Python爬虫总被断网劝退？三招搞定请求失败与优雅重试

半夜盯着屏幕，看着爬虫脚本跑得飞起，突然一个 ConnectionError 或者 Timeout 甩在脸上，几百页的数据瞬间白跑。这种“血压飙升”的时刻，估计每个写爬虫的人都经历过。网络波动、目标服务器抽风是常态，指望网络永远稳定并不现实。给代码加上合理的“重试机制”，让它在遇到小挫折时自己爬起来，才是让爬虫稳定运行的底气。

新手村的“死磕”循环与优化

很多刚接触爬虫的朋友，遇到请求失败的第一反应是写个 while True，失败了就重新发。这种做法有个致命隐患：如果目标网站真的宕机了，程序就会像个无头苍蝇一样无限死循环，甚至瞬间把本地资源耗尽。

合理的做法是设定最大重试次数与休眠间隔。在 for 或 while 循环中捕获异常，一旦请求失败，让程序暂停几秒再试。这不仅能避免死循环，还能给目标服务器留出喘息的时间。切记，失败后不要立即发起下一次请求，密集的无效请求极易触发目标网站的防刷机制。

老手的“条件反射”：精准状态码重试

每次手写循环不仅代码臃肿，而且很难针对特定的网络状况做区分。这时候，利用 requests 库底层的 urllib3 进行 Session 级别的配置，是更优雅的选择。

通过挂载 HTTPAdapter 和 Retry 策略，可以让请求自动处理重试逻辑。这里的核心技巧在于精准配置重试状态码。千万不要把 404（页面不存在）或者 403（拒绝访问）加进重试列表，这类属于明确的业务拦截或资源缺失，重试毫无意义。

只对 500、502、503、504 等服务器内部错误，以及连接超时等网络异常开启重试。这样既保证了容错率，又避免了在无效请求上浪费时间。

高阶玩家的“指数退避”魔法

当爬虫并发量较大，或者目标网站有严格的限流策略时，固定间隔的重试依然容易撞在枪口上。此时引入 tenacity 这类第三方重试库，能解锁更高级的玩法。

它最实用的功能是指数退避策略。简单来说，就是第一次失败等待1秒，第二次等待2秒，第三次等待4秒。这种递增的等待时间，能极大降低对目标服务器的冲击，也更容易绕过对方的频率限制。配合 @retry 装饰器，只需在函数上方加一行代码，就能实现极其优雅的重试逻辑，还能自定义抛出特定异常时才触发重试，让代码结构保持清爽。

避开重试机制的“暗坑”

重试机制虽好，但绝不是万能药。在实际跑数据时，有几个场景必须立刻停止重试：

当连续多次收到 403 Forbidden 或者频繁弹出验证码时，说明当前IP已经被目标网站风控。此时继续重试同一个IP，只会让封禁时间从十分钟变成永久。正确的思路是立刻中断重试，切换代理IP后再重新尝试。

另外，对于涉及数据写入的接口（如提交表单、点赞、下单），重试前必须确认请求是否已经成功到达。如果不做幂等性处理，网络超时后的盲目重试可能会导致数据被重复提交，造成业务逻辑混乱。

写爬虫就像是在和复杂的网络环境博弈，请求失败不可怕，可怕的是缺乏应对策略。从基础的次数限制，到状态码精准重试，再到指数退避，本质上都是为了让代码更具韧性。把重试机制打磨好，你的脚本才能真正实现“无人值守”，让你安心睡个好觉。