按住下方图标，点击小程序

免费领取AI学习资料、精选提示词

开发过爬虫的小伙伴估计有过这样经历，刚写好的爬虫就被Cloudflare 的五秒盾拦截。

验证码弹出来冲你笑，浏览器指纹检测把你的 Selenium 和 Playwright直接挂掉。

要命的是，脚本跑了两百页之后突然全被封了，你盯着屏幕一脸茫然，不知道哪一步出了问题。

今天介绍一个github超过5500星，可以反Cloudflare的全栈式开源爬虫botasaurus。

开源地址：https://github.com/omkarcloud/botasaurus

先聊聊这个框架最让我惊讶的一点，就是那种近乎无敌的防检测能力。Botasaurus的浏览器驱动是经过特殊优化的，能模拟出特别接近真实人类的浏览习惯。

例如，Cloudflare、Datadome这类出了名难搞的防护系统，在它面前基本就是形同虚设。

再说一个看着不起眼，但用好了能省大钱的缓存功能。大型爬虫项目里面，网络请求和浏览器渲染是最烧时间和金钱的。

而Botasaurus能轻松缓存请求结果，比如第一次爬某个页面要花十秒，第二次直接从缓存读取，眨眼功夫就完事了。

官方分享过一个真实案例，有个项目原本算下来要花1000多美金的费用，通过巧妙组合浏览器和缓存机制，最后只用了30美金。

这省下来的可都是真金白银啊，尤其当你需要反复调试或者定时跑任务的时候，效果特别明显。

爬取模式方面，Botasaurus提供了两种方法，分别是@browser和@request。

@browser模式会启动一个真实的、经过伪装的Chrome浏览器，最适合对付那些反爬特别严格或者需要执行复杂JavaScript的网站。

@request模式就轻量多了，发送模拟浏览器的HTTP请求，速度飞快，资源消耗也小，特别适合抓取传统的服务端渲染页面。

你在写项目的时候，完全可以根据目标网站的特点灵活选择，甚至混着用。这样一来，成功率有保障，效率也上去了。

Botasaurus还有一个很酷的能力，就是能把你的爬虫代码一键变成带界面的Web应用或者跨平台桌面软件。