摘要:在上篇文章实现简单爬虫框架单任务版爬虫中我们实现了一个简单的单任务版爬虫,对于单任务版爬虫,每次都要请求页面,然后解析数据,然后才能请求下一个页面。
在上篇文章Golang实现简单爬虫框架(2)——单任务版爬虫中我们实现了一个简单的单任务版爬虫,对于单任务版爬虫,每次都要请求页面,然后解析数据,然后才能请求下一个页面。整个过程中,获取网页数据速度比较慢,那么我们就把获取数据模块做成并发执行。在项目的基础上,实现多任务并发版爬虫。
项目github地址:github.com/NovemberCho… 回滚到相应记录食用,效果更佳。
1、项目架构首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块,然后并发执行Worker模块
然后得到并发版的架构图:
在并发版爬虫中,会同时执行多个Worker,每个Worker任务接受一个Request请求,然后请求页面解析数据,输出解析出的Requests和Item
因为又很多Request和Worker,所以还需要Scheduler模块,负责对请求任务的调度处理
Engine模块接受Worker发送的Requests和Items,当前我们先把Items打印出,把解析出的Request发送给调度器
其中Engine和Scheduler是一个goroutine,Worker包含多个goroutine,各个模块之间都是用channel进行连接
先放上重构后的项目文件结构:
2、Worker实现
我们从engine.go中提取下面功能作为Worker模块,同时把engine.go 更名为simple.go。修改后的simple.go文件请自行调整,或者去github项目源代码回滚查看。
engine/worker.go
package engine
import (
"crawler/fetcher"
"log"
)
// 输入 Request, 返回 ParseResult
func worker(request Request) (ParseResult, error) {
log.Printf("Fetching %s
", request.Url)
content, err := fetcher.Fetch(request.Url)
if err != nil {
log.Printf("Fetch error, Url: %s %v
", request.Url, err)
return ParseResult{}, err
}
return request.ParseFunc(content), nil
}
对于每一个Worker接受一个请求,然后返回解析出的内容
3、并发引擎Concurrent实现请大家根据架构图来看,效果会更好。
package engine
import "log"
// 并发引擎
type ConcurrendEngine struct {
Scheduler Scheduler // 任务调度器
WorkerCount int // 任务并发数量
}
// 任务调度器
type Scheduler interface {
Submit(request Request) // 提交任务
ConfigMasterWorkerChan(chan Request) // 配置初始请求任务
}
func (e *ConcurrendEngine) Run(seeds ...Request) {
in := make(chan Request) // scheduler的输入
out := make(chan ParseResult) // worker的输出
e.Scheduler.ConfigMasterWorkerChan(in) // 把初始请求提交给scheduler
// 创建 goruntine
for i := 0; i < e.WorkerCount; i++ {
createWorker(in, out)
}
// engine把请求任务提交给 Scheduler
for _, request := range seeds {
e.Scheduler.Submit(request)
}
itemCount := 0
for {
// 接受 Worker 的解析结果
result := <-out
for _, item := range result.Items {
log.Printf("Got item: #%d: %v
", itemCount, item)
itemCount++
}
// 然后把 Worker 解析出的 Request 送给 Scheduler
for _, request := range result.Requests {
e.Scheduler.Submit(request)
}
}
}
// 创建任务,调用worker,分发goroutine
func createWorker(in chan Request, out chan ParseResult) {
go func() {
for {
request := <-in
result, err := worker(request)
if err != nil {
continue
}
out <- result
}
}()
}
4、任务调度器Scheduler实现
scheduler/scheduler.go
package scheduler
import "crawler/engine"
type SimpleScheduler struct {
workerChan chan engine.Request
}
func (s *SimpleScheduler) Submit(request engine.Request) {
// 为每一个 Request 创建 goroutine
go func() {
s.workerChan <- request
}()
}
// 把初始请求发送给 Scheduler
func (s *SimpleScheduler) ConfigMasterWorkerChan(in chan engine.Request) {
s.workerChan = in
}
5、main函数
package main
import (
"crawler/engine"
"crawler/scheduler"
"crawler/zhenai/parser"
)
func main() {
e := engine.ConcurrendEngine{ // 配置爬虫引擎
Scheduler: &scheduler.SimpleScheduler{},
WorkerCount: 50,
}
e.Run(engine.Request{ // 配置爬虫目标信息
Url: "http://www.zhenai.com/zhenghun",
ParseFunc: parser.ParseCityList,
})
}
6、小结
本次博客我们实现一个最简单的并发版爬虫,调度器源源不断的接受任务,一旦有一个worker空闲,就给其分配任务。这样子有一个缺点,就是我们不知道我们分发出那么多worker的工作情况,对worker的控制力比较弱,所以在下次博客中会用队列来实现任务调度。
如果想获取Google工程师深度讲解go语言视频资源的,可以在评论区留下邮箱。
项目的源代码已经托管到Github上,对于各个版本都有记录,欢迎大家查看,记得给个star,在此先谢谢大家了
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/7179.html
摘要:在上篇文章实现简单爬虫框架单任务版爬虫中我们实现了一个简单的单任务版爬虫,对于单任务版爬虫,每次都要请求页面,然后解析数据,然后才能请求下一个页面。在上篇文章Golang实现简单爬虫框架(2)——单任务版爬虫中我们实现了一个简单的单任务版爬虫,对于单任务版爬虫,每次都要请求页面,然后解析数据,然后才能请求下一个页面。整个过程中,获取网页数据速度比较慢,那么我们就把获取数据模块做成并发执行。在...
摘要:并发的方式有多种,多线程,多进程,异步等。多线程和多进程之间的场景切换和通讯代价很高,不适合密集型的场景关于多线程和多进程的特点已经超出本文讨论的范畴,有兴趣的同学可以自行搜索深入理解。 编程中,我们经常会遇到并发这个概念,目的是让软件能充分利用硬件资源,提高性能。并发的方式有多种,多线程,多进程,异步IO等。多线程和多进程更多应用于CPU密集型的场景,比如科学计算的时间都耗费在CPU...
摘要:平日学习接触过的网站积累,以每月的形式发布。年以前看这个网址概况在线地址前端开发群月报提交原则技术文章新的为主。 平日学习接触过的网站积累,以每月的形式发布。2017年以前看这个网址:http://www.kancloud.cn/jsfron... 概况 在线地址:http://www.kancloud.cn/jsfront/month/82796 JS前端开发群月报 提交原则: 技...
阅读 654·2023-04-25 19:43
阅读 3834·2021-11-30 14:52
阅读 3711·2021-11-30 14:52
阅读 3775·2021-11-29 11:00
阅读 3732·2021-11-29 11:00
阅读 3789·2021-11-29 11:00
阅读 3516·2021-11-29 11:00
阅读 5934·2021-11-29 11:00