摘要：百度云搜索搜网盘一般抓取过的不重复抓取，那么就需要记录，判断当前如果在记录里说明已经抓取过了，如果不存在说明没抓取过记录可以是缓存，或者数据库，如果保存数据库按照以下方式加密建索引以便查询原始保存表里应该至少有以上个字段加密建索引以便查询字
一般抓取过的url不重复抓取，那么就需要记录url，判断当前URL如果在记录里说明已经抓取过了，如果不存在说明没抓取过
记录url可以是缓存，或者数据库，如果保存数据库按照以下方式：
id URL加密(建索引以便查询) 原始URL
保存URL表里应该至少有以上3个字段
1、URL加密(建索引以便查询)字段：用来查询这样速度快，
2、原始URL，用来给加密url做对比，防止加密不同的URL出现同样的加密值
自动递归url
# -*- coding: utf-8 -*-
import scrapy #导入爬虫模块
from scrapy.selector import HtmlXPathSelector #导入HtmlXPathSelector模块
from scrapy.selector import Selector
class AdcSpider(scrapy.Spider):
name = "adc" #设置爬虫名称
allowed_domains = ["hao.360.cn"]
start_urls = ["https://hao.360.cn/"]
def parse(self, response):
#这里做页面的各种获取以及处理
#递归查找url循环执行
hq_url = Selector(response=response).xpath("//a/@href") #查找到当前页面的所有a标签的href，也就是url
for url in hq_url: #循环url
yield scrapy.Request(url=url, callback=self.parse) #每次循环将url传入Request方法进行继续抓取，callback执行parse回调函数，递归循环
#这样就会递归抓取url并且自动执行了，但是需要在settings.py 配置文件中设置递归深度，DEPTH_LIMIT=3表示递归3层
这样就会递归抓取url并且自动执行了，但是需要在settings.py 配置文件中设置递归深度，DEPTH_LIMIT=3表示递归3层
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/44025.html
摘要：分布式爬虫框架详解随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。下载器中间件位于引擎和下载器之间的框架，主要是处理引擎与下载器之间的请求及响应。 scrapy-redis分布式爬虫框架详解 随着互联网技术的发展与应用的普及，网络作为信息的载体，已经成为社会大众参与社会生活的一种重要信息渠道。由于互联网是开放的，每个人都可以在网络上...
摘要：内存池机制提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。为了加速的执行效率，引入了一个内存池机制，用于管理对小块内存的申请和释放。 注：答案一般在网上都能够找到。1.对if __name__ == main的理解陈述2.python是如何进行内存管理的？3.请写出一段Python代码实现删除一个list里面的重复元素4.Python里面如何拷贝一个对象？...
阅读 1405·2021-11-25 09:43
阅读 2260·2021-09-27 13:36
阅读 1114·2021-09-04 16:40
阅读 1957·2019-08-30 11:12
阅读 3308·2019-08-29 14:14
阅读 565·2019-08-28 17:56
阅读 1320·2019-08-26 13:50
阅读 1246·2019-08-26 13:29
