Web用Python刮擦：从网站上刮擦数据的快速指南
#教程 #python #webscraping #网站

Web刮擦是一个从网站刮擦数据并保存以供进一步使用的过程。由于互联网上可用的大量数据，该技术变得越来越流行。 Python最常用于Web刮擦，因为它为此提供了许多库和工具。

在此博客中，我们将快速查看web scraping with Python并使用网站刮擦工具从网站上刮擦数据。

使用Python的有效网络刮擦：您从网站提取数据的快速指南

在我们的综合指南中发现Python有效的网络刮擦的力量。了解如何轻松从网站中提取有价值的数据并增强您的数据收集过程。

为什么要使用网络刮擦？

网络刮擦在许多方面都有帮助，包括数据分析，潜在客户生成，价格比较等等。

例如，如果您是数据分析师，则可能需要从网站刮擦数据以执行情感分析或市场研究。另一方面，如果您是企业主，则应从竞争对手网站上刮擦数据，以跟踪其定价。

网络刮擦如何工作？

Web刮擦作品是通过向网站的服务器发送请求，该服务器返回页面的HTML代码。然后可以解析HTML代码以提取所需的数据。 Python有许多图书馆和工具可以使此过程更轻松，例如美丽的套件，硒和砂纸。

从网站刮擦数据之前，必须检查网站的服务条款，以查看它们是否允许网络刮擦。一些网站有严格的政策，如果未经许可，您可以从其网站上刮擦数据，您可能会面临法律后果。

阅读更多：

Why Start Using FastAPI for Python?

探索您应该开始使用FastAPI进行Python开发项目的原因。了解Fastapi的速度，易用性和高级功能。

favicon mayankranjan.hashnode.dev

开始的美丽小组

BeautifulSoup是用于解析HTML和XML文件的Python库。由于其简单性和易用性，这是从网站刮擦数据的流行选择。要使用BeautifulSoup，您需要通过在终端中运行下一个命令来安装它：

pip install beautifulsoup4

安装了美丽的小组后，您可以开始从网站上刮擦数据。第一步是将请求发送到网站并获取HTML代码。您可以使用“请求”库来执行此操作。例如，

import requests 

url = "https://www.example.com" 

response = requests.get(url) 

html_content = response.content

接下来，您可以使用BeautifulSoup解析HTML代码。这是一个例子：

from bs4 import BeautifulSoup 

soup = BeautifulSoup(html_content, "html.parser")

现在已经解析了HTML代码，您可以提取所需的数据。 BeautifulSoup提供了许多用于在HTML代码中查找元素的方法，例如“ find（）”和“ find_all（）”。例如，

titles = soup.find_all("h1") 

for title in titles: 

    print(title.text)

在此示例中，我们正在找到HTML代码中的所有H1元素并打印其文本。

硒入门

Selenium是另一个流行的用于网络刮擦工具的Python库。这是一个浏览器自动化工具，可以与网站进行交互并从网站上进行刮擦数据。使用硒进行网络刮擦的主要优点是它可以处理JavaScript，通常用于加载动态网站内容。

要使用硒，您需要通过在终端中执行后续命令来安装它：

pip install selenium

您还需要下载要使用的浏览器的Web驱动程序。例如，如果您使用Google Chrome，则需要下载Chromedriver。

安装了Selenium并安装了Web驱动程序后，您可以开始从网站刮擦数据。这是一个例子：

from selenium import webdriver 

url = "https://www.example.com" 

driver = webdriver.Chrome() 

driver.get(url) 

titles = driver.find_elements_by_tag_name("h1") 

for title in titles: 

    print(title.text) 

driver.quit()

在此示例中，我们正在使用Chrome Web驱动程序访问该网站，并在页面上找到所有H1元素。 “ find_elements_by_tag_name（）”方法以指定的标签名称找到所有零件。

开始签证

砂纸是用于网络刮擦的强大Python框架。这是出色的网络刮擦工具之一。它通常用于大规模的web scraping projects，提供了许多功能和工具，以使过程更容易，更高效。

要使用砂纸，您需要按照终端中的命令来安装它：

pip install scrapy

安装了废弃后，您可以开始创建刮擦项目。这是一个例子：

import scrapy 



class ExampleSpider(scrapy.Spider): 

    name = "example" 

    start_urls = [ 

        "https://www.example.com", 

    ] 



    def parse(self, response): 

        titles = response.css("h1::text").getall() 

        for title in titles: 

            yield {"title": title}

在此示例中，我们正在创建一个称为“审查播放器”的废纸蜘蛛，该蜘蛛将从网站上刮擦数据。 “ CSS”方法在页面上找到元素并提取文本。 “ getall”方法从元素中获取所有文本。

网络驱动程序和浏览器

我们已经看到了最常用的Web刮擦工具，可以从网站上刮擦数据。在这里，每个Web刮板都使用浏览器，因为它要求连接到终端URL。建议使用常规浏览器，特别是如果您是新手。

经历后，您可以在以后使用无头浏览器。此外，这将有助于下一个复杂的任务。在此博客中，我们将Chrome Web浏览器用于所有过程，而Firefox也是如此。

让我们开始使用名为“ Chrome WebDriver”的首选搜索引擎。

现在，最后一步是您需要找到一个良好的编码环境。存在许多选项，但是Visual Studio代码或Pycharm是最佳选择。我们将使用Pycharm将其用于新移民。

现在，在pycharm上，右键单击它，然后选择新的> python文件。您可以命名任何您想要的东西。

使用和导入库

现在，让我们将所有创建的管道放入下面的使用：

import pandas as pd 

from bs4 import BeautifulSoup 

from selenium import webdriver

您可能将它们视为灰色，但不要接受，因为这将删除未使用的库。我们现在应该从定义浏览器开始。


driver = webdriver.Chrome(executable_path='c:\path\to\windows\webdriver\executable.exe') 

OR 

driver = webdriver.Firefox(executable_path='/nix/path/to/webdriver/executable')

选择一个URL

现在，我们必须选择要用来刮擦数据的URL。硒需要提供连接协议，并始终在URL上附上“ https：//”。


driver.get('https://your.url/here?yes=brilliant')

建筑列表和定义对象

您可以通过键入标题和值来轻松创建对象。


# Object is "results", brackets make the object an empty list. 

# We will store our data here. 

results = []

我们可以像下面的对象一样制作更多对象。


# Add page source to the variable `content`. 

content = driver.page_source 

# Load the contents of the page and its source into BeautifulSoup  

# class, which analyzes the HTML as a nested data structure and allows it to select 

# its elements using various selectors. 

soup = BeautifulSoup(content)

从Web刮板中提取数据

在本节中，我们将处理每个小部分并将其添加到列表中。


# Loop over all elements returned by the `findAll` call. It has the filter `attrs` given 

# to limit the data returned to those elements with a given class only. 

for element in soup.findAll(attrs={'class': 'list-item'}):

现在让我们访问真正的浏览器上的URL。您可以在Chrome上按CTRL + U，然后选择查看页面源。您可以找到数据嵌套的壁橱类。例如：

<h4 class="title"> 

    <a href="...">This is a Title</a> 

</h4>

现在，让我们返回并添加我们在来源中找到的类：


# Change 'list-item' to 'title'.

现在，我们将处理所有类似的“标题”，如下所示：

name = element.find('a') 

for element in soup.findAll(attrs={'class': 'title'}):

现在，让我们看看我们的循环：


<h4 class="title"> 

    <a href="...">This is a Title</a> 

</h4>

将数据导出到CSV

现在，我们必须检查是否将数据分配给正确的对象并正确移至数组。要检查此问题，我们可以使用“打印”。另外，“ for”也用于它。到目前为止，我们的代码看起来像以下内容，


driver = webdriver.Chrome(executable_path='/nix/path/to/webdriver/executable') 

driver.get('https://your.url/here?yes=brilliant') 

results = [] 

content = driver.page_source 

soup = BeautifulSoup(content) 

for a in soup.findAll(attrs={'class': 'class'}): 

    name = a.find('a') 

    if name not in results: 

        results.append(name.text) 

for x in results: 

    print(x)

现在，我们将删除“打印”循环，然后将电影数据移至CSV文件。


df = pd.DataFrame({'Names': results}) 

df.to_csv('names.csv', index=False, encoding='utf-8')

最佳实践：用Python编程语言进行网络刮擦

Web刮擦可以是从网站提取数据的强大工具。不过，必须遵循最佳实践，以避免破坏网站并尊重使用条款。以下是一些与Python进行网络刮擦的最佳实践：

尊重网站的使用条款

一些网站禁止刮擦数据。在刮去网站之前，请检查其服务条款以查看是否允许。

使用“用户代理”标头

网站可以阻止刮擦请求，如果他们看到它们来自机器人。为了避免这种情况，请在刮擦请求中设置“用户代理”标头，以将自己识别为人类用户。

不要太快刮擦

刮擦太多的页面会使网站的服务器紧张并为其他用户慢慢降低。为了避免这种情况，请在刮擦代码中添加延迟，并注意您的请求率。

缓存数据

多次刮擦相同的数据可以使网站的服务器扭伤并为其他用户慢慢降低。为避免这种情况，请缓存您刮擦的数据以稍后重复使用，而无需向网站提出其他请求。

注意隐私

某些网站可能包含您无权刮擦的个人信息。确保仅刮擦您有权使用的数据，并注意隐私法律和法规。

使用API

许多网站提供API，允许您更加结构化和有效地访问其数据。如果有API可用，请考虑使用它，而不是直接刮擦网站。

监视您的代码

网站更改时，网络刮擦工具可能会变得脆弱，并且很容易破裂。为了避免这种情况，请定期监视您的刮擦代码，以确保其仍能按预期工作。

通过产生这些最佳实践，您可以确认您的网络刮擦项目有效，尊重并符合法律和道德标准。

最后一句话

使用Python编程语言进行Web刮擦是从网站刮擦数据的强大工具。无论您是数据分析师，企业主还是希望从网络收集信息的任何人，Python都提供了几种选择，以使过程更轻松，更有效。借助正确的Web刮擦工具和技术，您可以轻松地从网站上刮擦数据并将其用于项目中。

如果您需要有关此域或相关域的更多帮助，为什么不接触python developer来处理复杂的情况并缓解压力。

喜欢，分享和评论！与所需的分享！谢谢阅读！

阅读更多：