摘要：下载器负责获取页面，然后将它们交给引擎来处理。内置了一些下载器中间件，这些中间件将在后面介绍。下载器中间件下载器中间件可以在引擎和爬虫之间操纵请求和响应对象。爬虫中间件与下载器中间件类似，启用爬虫中间件需要一个字典来配置。 前段时间我写了一篇《scrapy快速入门》，简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了，而且我又学了一点mongodb的知识，所以这次就来介绍一些scr...
摘要：线程局部变量，也就是每个线程的私有变量，具有线程隔离性。按我们正常的理解，应该是每一个请求对应一个处理线程。在中，除了线程之外，还有个叫协程的东东，这里不提进程。配合会确保不管是协程还是线程，只要当前请求处理完成之后清除中对应的内容。 首先贴出官方文档地址：http://werkzeug.pocoo.org/doc...几个local？threading.localwerkzeug.l...
摘要：由于苹果原生蛋疼的协议致使本来很简单的个推送服务让人望而却步。直到苹果最近的协议的出现才有所改善。如果推送失败后苹果的推送服务器会返回个错误的信息。结语虽然通过使用来实现苹果的推送服务是个比较简单的事情甚至会觉得比较枯燥无味的事情。 原文地址: http://52sox.com/python-use-h... 说起苹果的推送,可能很多开发人员就开始头疼了,因为实现苹果推送服务是1个比较...
摘要：笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向就是通过各种方法本文提到的为种将各种网络请求重新转到其它位置。即网页中的标签声明了网页重定向的链接，这种重定向由浏览器完成，需要编写代码进行处理。 笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每...
摘要：生成器可以简单理解成一个函数，每次执行到语句就返回一个值，通过不停地调用这个函数，就能获取到所有的值，这些值就能构成了一个等效的列表，但是与列表不同的是，这些值是不断计算得出，而列表是在一开始就计算好了，这就是的思想。 python 是一门简单而优雅的语言，可能是过于简单了，不用花太多时间学习就能使用，其实 python 里面还有一些很好的特性，能大大简化你代码的逻辑，提高代码的可读性...
