如何构建一个分布式爬虫：基础篇

ssshooter 发布于2019-07-31 10:56 / 3186人阅读

摘要：继上篇我们谈论了的基本知识后，本篇继续讲解如何一步步使用构建分布式爬虫。到此，我们就实现了一个很基础的分布式网络爬虫，但是它还不具有很好的扩展性，而且貌似太简单了下一篇我将以微博数据采集为例来演示如何构建一个稳健的分布式网络爬虫。

继上篇我们谈论了Celery的基本知识后，本篇继续讲解如何一步步使用Celery构建分布式爬虫。这次我们抓取的对象定为celery官方文档。

首先，我们新建目录distributedspider，然后再在其中新建文件workers.py,里面内容如下

from celery import Celery
app = Celery("crawl_task", include=["tasks"], broker="redis://223.129.0.190:6379/1", backend="redis://223.129.0.190:6379/2")
# 官方推荐使用json作为消息序列化方式
app.conf.update(
    CELERY_TIMEZONE="Asia/Shanghai",
    CELERY_ENABLE_UTC=True,
    CELERY_ACCEPT_CONTENT=["json"],
    CELERY_TASK_SERIALIZER="json",
    CELERY_RESULT_SERIALIZER="json",
)

上述代码主要是做Celery实例的初始化工作，include是在初始化celery app的时候需要引入的内容，主要就是注册为网络调用的函数所在的文件。然后我们再编写任务函数，新建文件tasks.py,内容如下

import requests
from bs4 import BeautifulSoup
from workers import app
@app.task
def crawl(url):
    print("正在抓取链接{}".format(url))
    resp_text = requests.get(url).text
    soup = BeautifulSoup(resp_text, "html.parser")
    return soup.find("h1").text

它的作用很简单，就是抓取指定的url，并且把标签为h1的元素提取出来

最后，我们新建文件task_dispatcher.py，内容如下

from workers import app
url_list = [
    "http://docs.celeryproject.org/en/latest/getting-started/introduction.html",
    "http://docs.celeryproject.org/en/latest/getting-started/brokers/index.html",
    "http://docs.celeryproject.org/en/latest/getting-started/first-steps-with-celery.html",
    "http://docs.celeryproject.org/en/latest/getting-started/next-steps.html",
    "http://docs.celeryproject.org/en/latest/getting-started/resources.html",
    "http://docs.celeryproject.org/en/latest/userguide/application.html",
    "http://docs.celeryproject.org/en/latest/userguide/tasks.html",
    "http://docs.celeryproject.org/en/latest/userguide/canvas.html",
    "http://docs.celeryproject.org/en/latest/userguide/workers.html",
    "http://docs.celeryproject.org/en/latest/userguide/daemonizing.html",
    "http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html"
]
def manage_crawl_task(urls):
    for url in urls:
        app.send_task("tasks.crawl", args=(url,))
if __name__ == "__main__":
    manage_crawl_task(url_list)

这段代码的作用主要就是给worker发送任务，任务是tasks.crawl，参数是url(元祖的形式)

现在，让我们在节点A(hostname为resolvewang的主机)上启动worker

celery -A workers worker -c 2 -l info

这里 -c指定了线程数为2， -l表示日志等级是info。我们把代码拷贝到节点B(节点名为wpm的主机)，同样以相同命令启动worker，便可以看到以下输出

可以看到左边节点(A)先是all alone，表示只有一个节点；后来再节点B启动后，它便和B同步了

sync with celery@wpm

这个时候，我们运行给这两个worker节点发送抓取任务

python task_dispatcher.py

可以看到如下输出

可以看到两个节点都在执行抓取任务，并且它们的任务不会重复。我们再在redis里看看结果

可以看到一共有11条结果，说明 tasks.crawl中返回的数据都在db2(backend)中了，并且以json的形式存储了起来，除了返回的结果，还有执行是否成功等信息。

到此，我们就实现了一个很基础的分布式网络爬虫，但是它还不具有很好的扩展性，而且貌似太简单了...下一篇我将以微博数据采集为例来演示如何构建一个稳健的分布式网络爬虫。

对微博大规模数据采集感兴趣的同学可以关注一下分布式微博爬虫，用用也是极好的

云服务器 GPU云服务器如何写一个爬虫基础篇之基础篇 java语言程序设计基础篇

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44378.html

后端知识拓展 - 收藏集 - 掘金

摘要：阻塞，非阻塞首先，阻塞这个词来自操作系统的线程进程的状态模型网络爬虫基本原理一后端掘金网络爬虫是捜索引擎抓取系统的重要组成部分。每门主要编程语言现未来已到后端掘金使用和在相同环境各加载多张小图片，性能相差一倍。 2016 年度小结（服务器端方向）| 掘金技术征文 - 后端 - 掘金今年年初我花了三个月的业余时间用 Laravel 开发了一个项目，在此之前，除了去年换工作准备面试时，我并...

Carl 2019-07-25 13:59 评论0 收藏0
后端知识拓展 - 收藏集 - 掘金

摘要：阻塞，非阻塞首先，阻塞这个词来自操作系统的线程进程的状态模型网络爬虫基本原理一后端掘金网络爬虫是捜索引擎抓取系统的重要组成部分。每门主要编程语言现未来已到后端掘金使用和在相同环境各加载多张小图片，性能相差一倍。 2016 年度小结（服务器端方向）| 掘金技术征文 - 后端 - 掘金今年年初我花了三个月的业余时间用 Laravel 开发了一个项目，在此之前，除了去年换工作准备面试时，我并...

CoderBear 2019-08-15 11:00 评论0 收藏0
PHP相关

摘要：的机器学习库的机器学习库，包括算法交叉验证神经网络等内容。在即将到来的大会上，她将和大家分享在机器学习领域的全新可能。入门总结入门相关，如安装配置基本使用等。基于 Swoole 开发 PHP 扩展 Swoole-1.9.7 增加了一个新特性，可以基于 Swoole 使用 C++ 语言开发扩展模块，在扩展模块中可以注册 PHP 内置函数和类。现在可以基于 Swoole 来编写 PHP ...

lewinlee 2019-06-28 14:39 评论0 收藏0
超详细的Python实现百度云盘模拟登陆(模拟登陆进阶)

摘要：方法不仅适用于百度云，别的一些比较难以模拟登陆的网站都可以按照这种方式分析。本文要求读者具有模拟登陆主要是抓包和阅读代码和密码学的基本知识。和模拟登陆微博的分析流程一样，我们首先要做的是以正常人的流程完整的登录一遍百度网盘。这是第二篇从简书搬运过来的文章（大家别误会，是我原创的）。因为前一篇文章，我看反响还挺好的，所以把这篇也搬运过来了，其实目的还是为宣传自己的分布式微博爬虫（该项目...

CarterLi 2019-07-31 10:57 评论0 收藏0
Python爬虫之Scrapy学习（基础篇）

摘要：下载器下载器负责获取页面数据并提供给引擎，而后提供给。下载器中间件下载器中间件是在引擎及下载器之间的特定钩子，处理传递给引擎的。一旦页面下载完毕，下载器生成一个该页面的，并将其通过下载中间件返回方向发送给引擎。作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习sc...

pkhope 2019-07-31 11:05 评论0 收藏0