如何使用 Puppeteer 避免机器人检测?

为什么有反机器人系统?

  • 保护网站资源和性能

爬虫和机器人程序在短时间内可以发送大量请求,消耗服务器资源,导致网站性能下降甚至崩溃。

反机器人系统可以帮助网站管理和限制这些请求,从而保持网站的稳定性和可用性。

  • 防止数据盗窃和滥用

一些机器人程序爬取网站内容进行未经授权的使用,例如内容盗窃和数据抓取。反机器人系统可以帮助保护网站上的数据和内容,防止未经授权的访问和滥用。

  • 提高安全性

恶意机器人程序可以用于各种攻击,例如分布式拒绝服务(DDoS)攻击、暴力破解密码等。反机器人系统可以帮助识别并阻止这些恶意行为,提高网站的整体安全性。

  • 保护用户隐私

一些机器人程序可能会试图获取用户的个人信息,如电子邮件地址、联系方式等。反机器人系统可以帮助保护用户隐私,防止这些信息被非法收集和滥用。

  • 提高用户体验

当机器人程序大量访问网站时,可能会影响正常用户的速度和体验。通过限制机器人流量,网站可以确保真实用户的更好体验。

  • 防止广告欺诈

一些机器人程序模拟用户点击广告以进行广告欺诈,导致广告商蒙受损失。反机器人检测可以识别并阻止这些虚假点击,保护广告商的利益。

反机器人系统如何工作?

反机器人系统通过多种技术和方法识别和阻止机器人流量。这里主要介绍6种常见的分析方法:

1. 行为分析

  • 监控用户在网站上的行为模式,如鼠标移动、点击、滚动和键盘输入。机器人程序通常无法模拟自然的人类行为。
  • 分析用户请求的速度和频率。机器人通常以非人类的速度发送请求,例如每秒大量请求。

2. 设备和环境检测

  • 收集用户的浏览器指纹信息,包括浏览器类型、版本、操作系统、插件等。机器人程序的浏览器指纹通常与真实用户不同。
  • 检查请求头中的User-Agent字段。许多机器人程序使用默认或异常的User-Agent值。

3. 挑战-响应机制

  • 反机器人系统使用CAPTCHA或reCAPTCHA要求用户执行某些任务(例如识别图片中的物体)以验证其人类身份。
  • 在网页中插入隐藏字段或链接(蜜罐),真实用户不会与这些元素互动,而机器人程序可能会触发这些陷阱,从而暴露其身份。

4. IP和地理位置检测

  • 使用已知恶意IP地址列表,阻止这些地址的请求。
  • 基于IP地址的地理位置限制访问。例如,只允许特定国家或地区的请求。

5. 流量分析

  • 监控和分析网站的流量模式,识别异常流量峰值和分布。
  • 分析用户会话的时长和互动模式。机器人的会话通常较短且有规律。

6. 机器学习

使用机器学习算法分析和识别正常用户与机器人的行为差异。机器学习模型可以不断学习和适应新的机器人行为。

网站如何检测Puppeteer?

网站可以检查页面上的特定JavaScript变量,这些变量通常与Puppeteer的使用相关。

例如,他们可能会查找包含"puppeteer"或其他相关标识符的变量名。

for (let key in window) {
    if (key.includes('puppeteer') || key.includes('webdriver')) {
        // Detected Puppeteer
    }
}

Puppeteer还会修改浏览器行为以自动执行任务。因此,网站可能会检查 navigator.webdriver等属性的存在和值,以确定是否有自动化工具在控制浏览器。

此属性在Puppeteer中通常设置为 true

绕过机器人检测的最简单方法 - Nstbrowser

想快速绕过机器人检测?现在开始免费使用Nstbrowser吧!Nstbrowser提供:

  • 智能IP轮换
  • 高级代理
  • CAPTCHA解答器

Nstbrowser不仅使用真实的浏览器指纹进行网络访问,还模拟真实用户的行为和习惯,使其无法被反机器人系统识别。

此外,为简化网络抓取和自动化,Nstbrowser配备了强大的网站解锁技术,提供无缝的网络访问体验。

使用Puppeteer避免机器人检测的8种最佳方法

如上所述,机器人检测已成为网络爬虫程序的一个主要问题。但别担心!我们仍然可以轻松解决它。

除了使用Nstbrowser,以下是一些使用Puppeteer避免机器人检测的技巧:

方法1. IP/代理轮换

大多数机器人检测器的主要检测方式是通过检查IP。Web服务器可以通过维护每个请求的日志来推导IP地址的模式。

他们使用Web应用防火墙(WAF)跟踪和阻止IP地址活动,并将可疑IP列入黑名单。重复和编程的请求会损害IP信誉并导致永久封锁。

要避免机器人检测,您可以使用IP轮换或Puppeteer设置代理:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://your_proxy_ip:your_proxy_port',
      // Add any other Chrome flags you need
    ],
  });
  const page = await browser.newPage();

  // Now Puppeteer will use the proxy specified above
  await page.goto('https://example.com');
  
  // Continue with your automation tasks

  await browser.close();
})();
  • --proxy-server=http://your_proxy_ip:your_proxy_port 参数指定代理服务器的地址和端口。
  • 您可以根据需要添加其他Chrome标志(args)。

请确保将 your_proxy_ip 和 your_proxy_port 替换为实际代理服务器的IP地址和端口号。

方法2. 旋转HTTP头信息和User-Agent

网站通常检查请求的User-Agent以确定请求来自哪个浏览器和操作系统。

通常,Puppeteer使用固定的User-Agent,这使其容易被检测到。通过随机化User-Agent,请求将更有可能被识别为来自不同的真实用户。

此外,反机器人系统还会检查HTTP头以识别机器人。这些头包括 Accept-LanguageAccept-EncodingCache-Control 等。

默认的HTTP头也可能暴露自动化工具的使用。随机化和设置常见的HTTP头将帮助您的请求更加真实。

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
const randomUseragent = require('random-useragent'); // Random User-Agent Library

puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();

  // Define common HTTP headers
  const commonHeaders = {
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'Cache-Control': 'no-cache',
    'Upgrade-Insecure-Requests': '1',
  };

  // Randomize User-Agent and HTTP headers
  const setRandomHeaders = async (page) => {
    const userAgent = randomUseragent.getRandom(); // Get random User-Agent
    await page.setUserAgent(userAgent);

    await page.setExtraHTTPHeaders(commonHeaders);
  };

  await setRandomHeaders(page);

  await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'webdriver', {
      get: () => false,
    });
  });

  await page.goto('https://example.com', {
    waitUntil: 'networkidle2',
  });

方法3. 禁用navigator.webdriver

默认情况下,Puppeteer将navigator.webdriver属性设置为true。这暴露了自动化工具的存在。通过禁用或修改此属性,您可以减少被检测的机会。

await page.evaluateOnNewDocument(() => {
  Object.defineProperty(navigator, 'webdriver', { get: () => false });
});

方法4. 使用​stealth插件​

使用 puppeteer-extra-plugin-stealth 插件可以帮助Puppeteer避免被检测为机器人。

该插件修改了一些浏览器的默认行为和特性,使其看起来像是一个真实用户。

首先,您需要安装 puppeteer-extra 和 puppeteer-extra-plugin-stealth 插件:

npm install puppeteer-extra puppeteer-extra-plugin-stealth

接下来,您可以在代码中使用这些插件来启动Puppeteer:

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch

({ headless: true });

方法5. 使用Cookie

如果您想从社交媒体平台或其他需要身份验证的网站抓取数据,通常需要重复登录。

这种重复的身份验证请求会触发警报,账号可能会被封锁或面临CAPTCHA或JavaScript认证挑战。

我们可以通过使用Cookie来避免这种情况。登录一次后,我们可以收集登录会话Cookie,以便将来重复使用。

方法6. 使用CAPTCHA解答服务

在进行网络抓取时,您肯定会遇到CAPTCHA识别问题。这时,您需要利用CAPTCHA解答服务。

通常,这些服务使用真实用户来解决CAPTCHA,从而减少被检测为机器人的可能性。

这可以确保绕过机器人检测,并有助于降低运行机器人的整体成本。

方法7. 延迟输入和随机化

真实用户无法在一分钟内发出500个请求!

真实用户也无法有固定的浏览习惯和程序!

因此,为了防止被反机器人系统轻易检测到,我们需要在使用Puppeteer时,为自动化程序设置延迟输入和一些随机化操作。这样可以模拟真实用户,从而在一定程度上降低被检测的风险。

  • 模拟人类输入速度,而不是立即输入所有内容:
await page.type('input[name=username]', 'myUsername', { delay: 100 });
await page.type('input[name=password]', 'myPassword', { delay: 100 });
  • 随机化鼠标移动、点击和滚动操作:
await page.mouse.move(100, 100);
await page.mouse.click(100, 100);

方法8. 使用浏览器扩展

在使用Puppeteer运行自动化任务时,有时可以利用浏览器扩展来帮助绕过一些机器人检测。

这些扩展可以修改浏览器的行为,使其看起来更像是由真实用户操作的。

加载本地扩展:

  • 下载您想要使用的浏览器扩展(例如Chrome扩展)到本地。
  • 在启动Puppeteer时,通过指定args参数加载扩展:
const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: false, // non-headless mode
    args: [
      `--disable-extensions-except=/path/to/extension/`, // Load extensions with specified paths
      `--load-extension=/path/to/extension/`
    ]
  });
  const page = await browser.newPage();
  await page.goto('https://example.com');
  // Continue executing your code
})();
  • 这将允许您在Puppeteer控制的浏览器实例中加载和使用特定扩展,有时可以帮助绕过机器人检测。

更改默认Chrome扩展路径

Puppeteer默认使用一个空的扩展目录来模拟Chrome。您可以通过设置userDataDir来指定一个自定义的用户数据目录,并在其中预加载所需的扩展。

结语

在本文中,我们讨论了:

  • 为什么网站使用反机器人系统?
  • 它们如何工作?
  • 使用Puppeteer避免机器人检测的8种最佳方法。

相关推荐

最近更新

  1. PHP MySQL 读取数据

    2024-07-09 21:42:09       0 阅读
  2. Handler续谈(epoll)

    2024-07-09 21:42:09       0 阅读
  3. Git提交到错误分支怎么办?(解决办法)

    2024-07-09 21:42:09       0 阅读
  4. 在ubuntu系统上安装qt 2

    2024-07-09 21:42:09       0 阅读
  5. CONFIG_MTD_SPI_NOR_USE_4K_SECTORS

    2024-07-09 21:42:09       0 阅读
  6. 网络通信协议

    2024-07-09 21:42:09       0 阅读
  7. opencv 使用XML和YAML格式来输入输出文件

    2024-07-09 21:42:09       0 阅读

热门阅读

  1. 面试经典 150 题

    2024-07-09 21:42:09       6 阅读
  2. MySQL8之mysql-community-common的作用

    2024-07-09 21:42:09       6 阅读
  3. 机器学习综述

    2024-07-09 21:42:09       6 阅读
  4. Qt | Qt常用类列举和说明

    2024-07-09 21:42:09       4 阅读
  5. chatgpt工作原理

    2024-07-09 21:42:09       7 阅读
  6. 在make类构建系统配置文件中定义函数宏

    2024-07-09 21:42:09       3 阅读
  7. lvs集群

    lvs集群

    2024-07-09 21:42:09      5 阅读
  8. 记录Linux安装go环境的一个坑

    2024-07-09 21:42:09       5 阅读
  9. Python开发——Python 字典的使用

    2024-07-09 21:42:09       6 阅读
  10. 流媒体技术

    2024-07-09 21:42:09       7 阅读