刮擦应该是关于extracting content from HTML。听起来很简单，但有许多障碍。第一个是获得上述HTML。为此，我们将使用 python避免检测。

可能需要绕过反机器人系统。网络刮擦而不会使用python或任何其他工具被阻止，这是在公园里散步的。

网站倾向于保护其数据和访问。防御系统可以采取许多可能的行动。与我们一起学习如何使用 Requests 或 Playwright。

注意：按大规模测试时，切勿直接使用家庭IP。一个小错误或滑倒，您将被禁止。

另外，这是出于信息目的，并确保您在授权的网站或平台上使用它。

先决条件

要使代码工作，您将需要Python 3 installed。一些系统已预装。之后，通过运行PIP安装来安装所有必要的库。

pip install requests playwright 
npx playwright install

IP率限制

最基本的安全系统是从同一IP禁止或节气门请求。这意味着常规用户不会在几秒钟内要求一百页，因此连接将被标记为危险。

import requests 

response = requests.get('http://httpbin.org/ip') 
print(response.json()['origin']) 
# xyz.84.7.83

IP率限制与API速率限制相似，但通常没有公共信息。我们可以确定我们可以安全地提出多少要求。

我们的互联网服务提供商为我们分配了我们的IP，我们可以影响或掩盖。解决方案是更改它。我们可以修改机器的IP，但可以使用不同的机器。数据中心可能具有不同的IP，尽管这不是真正的解决方案。

代理是。他们提出了传入的请求，并将其传递到最终目的地。它在那里没有处理。但这足以掩盖我们的IP并绕过块，因为目标网站将看到代理的IP。

旋转代理

即使我们不推荐它们，也有free proxies。他们可能会用于测试，但可靠。在某些示例中可以看出，我们可以使用其中一些进行测试。

现在我们有不同的IP，我们的家庭连接是安全且合理的。好的。但是，如果他们阻止代理IP怎么办？我们回到初始位置。

我们不会详细介绍免费代理。只需使用the next one on the list即可。由于它们的寿命通常很短，因此经常更改它们。

付费代理服务，另一方面提供IP旋转。我们的服务将类似地工作，但是该网站会看到不同的IP。在某些情况下，它们每次请求或每隔几分钟都旋转。无论如何，他们很难禁止。当它发生时，我们将很快获得新的IP。

import requests 

proxies = {'http': 'http://190.64.18.177:80'} 
response = requests.get('http://httpbin.org/ip', proxies=proxies) 
print(response.json()['origin']) # 190.64.18.162

我们知道这些；这意味着机器人检测服务也知道它们。一些大公司将阻止已知代理IP或数据中心的流量。对于这些情况，有一个较高的代理水平：住宅。

住宅代理更昂贵，有时是带宽限制的，但它们为我们提供了普通人使用的IP。这意味着我们的移动提供商可以明天分配IP。或昨天有一个朋友。他们与实际最终用户没有区别。

我们可以刮擦我们想要的任何东西，对吗？默认情况下，便宜的价格便宜，必要时昂贵。不，还没有。我们只通过了第一个障碍，还有一些障碍。我们必须看起来像合法的用户，以免被标记为机器人或刮刀。

用户代理标头

下一步将是检查我们的请求标题。最著名的是User-Agent（简称UA），但还有更多。 ua遵循我们将稍后再见的格式，例如，许多软件工具，例如Googlebot，都有自己的。

如果我们使用Python请求或直接卷曲，则目标网站将收到的内容。

import requests 

 

response = requests.get('http://httpbin.org/headers') 

print(response.json()['headers']['User-Agent']) 

# python-requests/2.25.1

curl http://httpbin.org/headers # { ... "User-Agent": "curl/7.74.0" ... }

许多网站都会检查UA，但这对于这样做的网站是一个巨大的危险信号。我们必须伪造它。幸运的是，大多数库都允许自定义标题。按照示例使用请求：

import requests 

 

headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36"} 

response = requests.get('http://httpbin.org/headers', headers=headers) 

print(response.json()['headers']['User-Agent']) # Mozilla/5.0 ...

要获取当前的用户代理，请访问httpbin，就像代码片段所做的那样并复制它。 请求使用相同UA的所有URL也可能触发一些警报，使解决方案更加复杂。

理想情况下，我们将拥有所有当前可能的用户代理，并像对IPS一样旋转它们。由于这几乎是不可能的，我们至少可以有一些。有lists of User-Agents可供我们选择。

import requests 

import random 

 

user_agents = [ 

        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 

        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36', 

        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36', 

        'Mozilla/5.0 (iPhone; CPU iPhone OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148', 

        'Mozilla/5.0 (Linux; Android 11; SM-G960U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.72 Mobile Safari/537.36' 

] 

user_agent = random.choice(user_agents) 

headers = {'User-Agent': user_agent} 

response = requests.get('https://httpbin.org/headers', headers=headers) 

print(response.json()['headers']['User-Agent']) 

# Mozilla/5.0 (iPhone; CPU iPhone OS 12_2 like Mac OS X) ...

请记住，浏览器经常更改版本，并且该列表可以在几个月内过时。如果我们要使用用户代理旋转，那么可靠的来源至关重要。我们可以手工做或使用服务提供商。

我们更近了，但是标题中仍然存在一个缺陷：反机器人系统也知道此技巧，并检查其他标题以及用户代理。

全套标题

每个浏览器甚至版本都会发送不同的标题。检查Chrome和Firefox的作​​用：

{ 

        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", 

        "Accept-Encoding": "gzip, deflate, br", 

        "Accept-Language": "en-US,en;q=0.9", 

        "Host": "httpbin.org", 

        "Sec-Ch-Ua": "\"Chromium\";v=\"92\", \" Not A;Brand\";v=\"99\", \"Google Chrome\";v=\"92\"", 

        "Sec-Ch-Ua-Mobile": "?0", 

        "Sec-Fetch-Dest": "document", 

        "Sec-Fetch-Mode": "navigate", 

        "Sec-Fetch-Site": "none", 

        "Sec-Fetch-User": "?1", 
        "Upgrade-Insecure-Requests": "1", 
        "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36" 

}

{ 

        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", 
        "Accept-Encoding": "gzip, deflate, br", 
        "Accept-Language": "en-US,en;q=0.5", 
        "Host": "httpbin.org", 
        "Sec-Fetch-Dest": "document", 
        "Sec-Fetch-Mode": "navigate", 
        "Sec-Fetch-Site": "none", 
        "Sec-Fetch-User": "?1", 
        "Upgrade-Insecure-Requests": "1", 
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0" 
}

这意味着您认为这意味着什么。以前的具有五个用户代理的数组不完整。我们需要每个用户代理具有完整标题的数组。对于简洁起见，我们将显示一个带有一项的列表。已经足够长了。

在这种情况下，复制httpbin的结果不够。理想是将其直接从源复制。 Firefox，Chrome Devtools或您的浏览器等效的最简单方法。

转到“网络”选项卡，访问目标网站，右键单击请求，然后复制为curlâ。然后convert the cURL syntax to Python并将标题粘贴到列表中。

import requests 

import random 

 

headers_list = [{ 

        'authority': 'httpbin.org', 

        'cache-control': 'max-age=0', 

        'sec-ch-ua': '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"', 

        'sec-ch-ua-mobile': '?0', 

        'upgrade-insecure-requests': '1', 

        'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36', 

        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 

        'sec-fetch-site': 'none', 

        'sec-fetch-mode': 'navigate', 

        'sec-fetch-user': '?1', 

        'sec-fetch-dest': 'document', 

        'accept-language': 'en-US,en;q=0.9', 

} # , {...} 

] 

headers = random.choice(headers_list) 

response = requests.get('https://httpbin.org/headers', headers=headers) 

print(response.json()['headers'])

我们可以为额外的安全性添加推荐人标头，例如Google或同一网站的内部页面。它将掩盖我们始终在没有互动的情况下直接要求URL的事实。

但是要小心，因为添加推荐人会更改更多标题。您不希望您的python请求脚本被这样的错误所阻止。

cookie

我们忽略了上面的cookies，因为它们应该得到一个单独的部分。 cookie可以帮助您绕过一些反机器人或阻止您的请求。它们是我们需要正确理解的强大工具。

例如，cookie可以跟踪用户会话，并在登录后记住该用户。网站为每个新用户分配一个cookie会话。有很多方法可以做到这一点，但是我们会尝试简化。然后，用户的浏览器将在每个请求中发送该cookie，以跟踪用户的活动。

import json 

from playwright.sync_api import sync_playwright 

with sync_playwright() as p: 

        for browser_type in [p.chromium, p.firefox, p.webkit]: 

                browser = browser_type.launch() 
                page = browser.new_page() 
                page.goto('https://httpbin.org/headers') 
                jsonContent = json.loads(page.inner_text('pre')) 
                print(jsonContent['headers']['User-Agent']) 
                browser.close() 

# Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/93.0.4576.0 Safari/537.36 

# Mozilla/5.0 (X11; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0 

# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15

import requests 
from bs4 import BeautifulSoup 

response = requests.get('https://scrapeme.live/shop/') 
soup = BeautifulSoup(response.content, 'html.parser') 
pages = soup.select('.woocommerce-pagination a.page-numbers:not(.next)') 
print(pages[0].get('href')) # https://scrapeme.live/shop/page/2/ 
print(pages[-1].get('href')) # https://scrapeme.live/shop/page/48/

即使是最好的准备请求也可以被抓住并显示CAPTCHA。如今，解决验证码可以实现，使用抗验码和2captcha等解决方案，但浪费时间和金钱。 最好的解决方案是避免它们。第二好的是忘记该请求和重试。

例外很明显：在第一次访问时总是显示验证码的站点。如果没有办法绕过它，我们必须解决它。

然后，使用会话cookie避免再次受到挑战。

这听起来可能违反直觉，但是等待第二秒，然后用不同的IP和集合器恢复相同的请求要比求解验证码要快。自己尝试一下，并告诉我们有关体验的信息。

成为一个好的互联网公民

我们可以使用多个网站进行测试，但是在大规模进行相同操作时要小心。尝试成为一个好的互联网公民，不会导致DDOS。限制每个域的交互。亚马逊每秒可以处理数千个请求，但并非所有目标站点都可以。

我们总是在谈论“只读”浏览模式。访问页面并阅读其内容。切勿提交表格或以恶意意图执行主动行动。

如果我们采用更活跃的方法，其他几个因素将重要：写作速度，鼠标移动，导航而无需单击，同时浏览许多页面等。预防机器人预防软件特别具有积极性，具有主动动作。由于安全原因应该应该。

我们会讨论这部分，但是这些行动将为他们提供阻止请求的新理由。同样，好公民不会尝试大量登录。我们谈论的是刮擦，而不是恶意活动。

有时网站会使数据收集更加困难，也许不是故意的。但是，借助现代前端工具，CSS课程可能每天都会改变，破坏彻底准备的脚本。有关更多详细信息，请阅读我们先前在how to scrape data in Python上的条目。

结论

我们喜欢您记住低悬挂的水果：

1. IP旋转代理。
2. 挑战目标的住宅代理。
3. 全套标头，包括用户代理。
4. 当需要JavaScript挑战时，请与剧作家进行绕过机器人检测，也许添加隐形模块。
5. 避免使用可能将您标记为机器人的图案。还有更多，也许我们没有封面。但是有了这些技术，您应该能够大规模爬行和刮擦。毕竟，如果您知道如何进行网络刮擦而不会被python阻止。

如果您发现这篇文章令人兴奋，请在Learnhub Blog上找到更多令人兴奋的帖子；我们编写从Cloud computing到Frontend Dev，Cybersecurity，AI和Blockchain的所有技术。

这是由ZenRows撰写的，由Leaernhub Blog编辑。

资源

• 20 Essential Python Extensions for Visual Studio Code
• Using Python for Web Scraping and Data Extraction
• 13 Powerful Python Snippets To Automate Tasks
• Getting Started with Python