摘要：爬虫项目的管道文件，用来对中的数据进行进一步的加工处理。根据传入的正则表达式对数据进行提取，返回字符串列表。的作用函数可创建一个整数列表，一般用在循环中。
项目地址：https://github.com/gejinnvshe...
微信公众号：天字一等
爬取懒人听书平台书籍的书名、作者名、分类，后续还会增加爬取音频
爬虫用到的框架：scrapy Anaconda是专注于数据分析的Python发行版本
scrapy简单入门及实例讲解：https://www.cnblogs.com/kongz... scrapy进阶实例：https://blog.csdn.net/z564359...
scrapy框架知识点
1、ROBOTSTXT_OBEY = False 粗解
https://www.jianshu.com/p/19c1ea0d59c2
2、爬虫-User-Agent和代理池
https://www.cnblogs.com/sunxiuwen/p/10112057.html
3、
scrapy项目配置文件：
scrapy.cfg：爬虫项目的配置文件。
__init__.py：爬虫项目的初始化文件，用来对项目做初始化工作。
items.py：爬虫项目的数据容器文件，用来定义要获取的数据。
1、pipelines.py：爬虫项目的管道文件，用来对items中的数据进行进一步的加工处理。 2、scrapy的pipeline是一个非常重要的模块，主要作用是将return的items写入到数据库、文件等持久化模块
settings.py：爬虫项目的设置文件，包含了爬虫项目的设置信息。
middlewares.py：爬虫项目的中间件文件，
4
使用anaconda prompt运行.py文件，执行scrapy crwal xx指令时，xx是.py文件中给name赋的值
使用anaconda prompt运行.py文件，执行scrapy crwal xx指令时，如果报错说少了yy modules，直接输入pip install yy执行安装包，不用在进入对应的项目目录下
5、 https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html?highlight=extract
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
6、elastisearch查询语句
https://segmentfault.com/q/1010000017553309/
7、传入xpath表达式，返回该表达式所对应的所有节点的selector list列表
extract(): 返回被选择元素的unicode字符串
8、yield
yield的作用 这里是在爬取完一页的信息后，我们在当前页面获取到了下一页的链接，然后通过 yield 发起请求，
# 并且将 parse 自己作为回调函数来处理下一页的响应
# https://www.jianshu.com/p/7c1a084853d8
yield Request(self.lrtsUrl + next_link, callback=self.parse, headers=headers) #获取下一页，parse是回调函数来处理下一页的响应
9、meta scrapy的request的meta参数是什么意思？
https://blog.csdn.net/master_ning/article/details/80558985
python基础知识点：
class:#创建类 类就是一个模板，模板里可以包含多个函数，函数里实现一些功能
def:#创建类中函数
pass:pass 不做任何事情，一般用做占位语句。
if name == "__main__":的作用
https://www.cnblogs.com/kex1n/p/5975575.html
5、python range() 函数可创建一个整数列表，一般用在 for 循环中。
函数语法
range(start, stop[, step])
6、Python len() 方法返回对象（字符、列表、元组等）长度或项目个数。
语法
len()方法语法：
len( s )
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/43676.html
摘要：下载器下载器负责获取页面数据并提供给引擎，而后提供给。下载器中间件下载器中间件是在引擎及下载器之间的特定钩子，处理传递给引擎的。一旦页面下载完毕，下载器生成一个该页面的，并将其通过下载中间件返回方向发送给引擎。 作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师 在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习sc...
摘要：解析的方法，每个初始完成下载后将被调用，调用的时候传入从每一个传回的对象来作为唯一参数，主要作用如下负责解析返回的网页数据，提取结构化数据生成生成需要下一页的请求。 Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常...
摘要：上次用写的爬虫速度很感人，今天打算用框架来实现，看看速度如何。 上次用requests写的爬虫速度很感人，今天打算用scrapy框架来实现，看看速度如何。 爬虫步骤 第一步，安装scrapy，执行一下命令 pip install Scrapy 第二步，创建项目，执行一下命令 scrapy startproject novel 第三步，编写spider文件，文件存放位置novel/spi...
阅读 1885·2021-11-17 09:33
阅读 6473·2021-10-12 10:20
阅读 2300·2021-09-22 15:50
阅读 1786·2021-09-22 15:10
阅读 616·2021-09-10 10:51
阅读 622·2021-09-10 10:50
阅读 3028·2021-08-11 11:19
阅读 1777·2019-08-30 15:55
