原文地址: http://www.jtahstu.com/blog/s...
Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息 零、开发环境MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports)
CPU : 2 GHz Intel Core i5
RAM : 8 GB 1867 MHz LPDDR3
Python 版本: v3.6.3 [GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
MongoDB 版本: v3.4.7
MongoDB 可视化工具 :MongoBooster v4.1.3
一、准备工作 安装 Scrapypip3 install scrapy
如果顺利的话,会像本人这样,装了一大堆软件包
参考翻译文档的安装教程:http://scrapy-chs.readthedocs...
官方 GitHub 地址:https://github.com/scrapy/scrapy
二、新建项目scrapy startproject www_zhipin_com
如果顺利的话,会像本人这样
三、定义要抓取的 Item在items.py 文件中定义一个类
class WwwZhipinComItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pid = scrapy.Field() positionName = scrapy.Field() positionLables = scrapy.Field() workYear = scrapy.Field() salary = scrapy.Field() city = scrapy.Field() education = scrapy.Field() companyShortName = scrapy.Field() industryField = scrapy.Field() financeStage = scrapy.Field() companySize = scrapy.Field() time = scrapy.Field() updated_at = scrapy.Field()四、分析页面
一般一条招聘像下面这样
html 结构如下
爬虫中就是使用 css 选择器获取标签里的文字或链接等
五、爬虫代码在 spiders 目录下新建 zhipin_spider.py
# -*- coding: utf-8 -*- import scrapy import time from www_zhipin_com.items import WwwZhipinComItem class ZhipinSpider(scrapy.Spider): # spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance),这没有任何限制。 name是spider最重要的属性,而且是必须的 name = "zhipin" # 可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时, 域名不在列表中的URL不会被跟进。 allowed_domains = ["www.zhipin.com"] # URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。 # 这里我们进行了指定,所以不是从这个 URL 列表里爬取 start_urls = ["http://www.zhipin.com/"] # 要爬取的页面,可以改为自己需要搜的条件,这里搜的是 上海-PHP,其他条件都是不限 positionUrl = "http://www.zhipin.com/c101020100/h_101020100/?query=php" curPage = 1 # 发送 header,伪装为浏览器 headers = { "x-devtools-emulate-network-conditions-client-id": "5f2fc4da-c727-43c0-aad4-37fce8e3ff39", "upgrade-insecure-requests": "1", "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36", "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "dnt": "1", "accept-encoding": "gzip, deflate", "accept-language": "zh-CN,zh;q=0.8,en;q=0.6", "cookie": "__c=1501326829; lastCity=101020100; __g=-; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.20.1.20.20; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502948718; __c=1501326829; lastCity=101020100; __g=-; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502954829; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.21.1.21.21", "cache-control": "no-cache", "postman-token": "76554687-c4df-0c17-7cc0-5bf3845c9831" } //该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。 //该方法仅仅会被Scrapy调用一次,因此您可以将其实现为生成器。 def start_requests(self): return [self.next_request()] //负责处理response并返回处理的数据以及(/或)跟进的URL。 def parse(self, response): print("request -> " + response.url) job_list = response.css("div.job-list > ul > li") for job in job_list: item = WwwZhipinComItem() job_primary = job.css("div.job-primary") item["pid"] = job.css( "div.info-primary > h3 > a::attr(data-jobid)").extract_first().strip() item["positionName"] = job_primary.css( "div.info-primary > h3 > a::text").extract_first().strip() item["salary"] = job_primary.css( "div.info-primary > h3 > a > span::text").extract_first().strip() info_primary = job_primary.css( "div.info-primary > p::text").extract() item["city"] = info_primary[0].strip() item["workYear"] = info_primary[1].strip() item["education"] = info_primary[2].strip() item["companyShortName"] = job_primary.css( "div.info-company > div.company-text > h3 > a::text" ).extract_first().strip() company_infos = job_primary.css( "div.info-company > div.company-text > p::text").extract() if len(company_infos) == 3: # 有一条招聘这里只有两项,所以加个判断 item["industryField"] = company_infos[0].strip() item["financeStage"] = company_infos[1].strip() item["companySize"] = company_infos[2].strip() item["positionLables"] = job.css( "li > div.job-tags > span::text").extract() item["time"] = job.css("span.time::text").extract_first().strip() item["updated_at"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) yield item self.curPage += 1 time.sleep(5) # 停停停!听听听!都给我停下来听着!睡一会(~﹃~)~zZ yield self.next_request() # 发送请求 def next_request(self): return scrapy.http.FormRequest( self.positionUrl + ("&page=%d&ka=page-%d" % (self.curPage, self.curPage)), headers=self.headers, callback=self.parse)
运行脚本
scrapy crawl zhipin -o item.json
这里会在项目目录下生成 item.json 的一个 json 文件
运行情况如下
http://cdn.jtup.cc/blog/video...
Point 1 设置 UTF-8 编码但是不巧,往往这是一个 Unicode 编码的文件,所以需要加个设置
在 settings.py中添加(PS:也可以在运行的时候带上这个参数)
FEED_EXPORT_ENCODING = "utf-8"
亲测以下方法是不能解决问题的
Point 2 慢一点注意不要爬的太快,因为 BOSS 直聘只会显示20页的招聘信息,所以理论上这个脚本只要执行20次即可,那么间隔时间尽量设置长一点,本人爬的时候设置的是5秒,但是后面稍微快了一点就六字真言了,还好我已经把数据爬到了
慢一点,才能快一点!
Point 3 修改为自定义的条件可以修改 zhipin_spider.py 第18行 positionUrl 的链接,把 PHP 修改为 Java 或 Python,把城市编码("c101020100" == 上海)换成你需要查询的城市,即可爬取自定的岗位,这就很灵性了!
六、保存到数据库一条json数据如下
{ "pid": "16115932", "positionName": "PHP后台开发工程师", "salary": "13K-20K", "city": "上海", "workYear": "1-3年", "education": "本科", "companyShortName": "蜻蜓FM", "industryField": "互联网", "financeStage": "D轮及以上", "companySize": "100-499人", "positionLables": [ "PHP" ], "time": "发布于昨天", "updated_at": "2017-12-10 17:36:21" },
使用软件将json文件导入到 MongoDB 中,以备后面的使用
七、不足这里招聘的详细要求还没有爬取
刚抓到的数据还没初步处理
本项目开源地址:http://git.jtahstu.com/jtahst...
有人可能会问,爬这些数据有什么用呢,现在又不跳槽。
本人的回答是,那当然肯定必须有用啊,所谓防患于未然、知己知彼,百战不殆,只有及时了解市面上的需求,才能有针对性的提升自己、学习技术,从另一方面来看,那有关钱途的事都是大事啊。
ok,本文到此为止,下一篇就是让我们来好好分析,招聘 PHP 程序员,企业到底需要招聘的是什么样的 PHP程序员。PHP 程序员需要具备哪些常规技能和哪些冷门技能,应该点亮怎样的技能树,敬请期待。
非常感谢你能抽出三五分钟看完这篇 Python 基础入门的文章 , ^_^
九、致谢在文章的创作过程中,参考了以下文档和文章等
Scrapy 1.0 中文文档
Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫) - 博客园
Scrapy笔记02- 完整示例
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/26219.html
原文地址: http://www.jtahstu.com/blog/s... Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息 零、开发环境 MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports) CPU : 2 GHz Intel Core i5 RAM : 8 GB 1867 MHz LPDDR3 Python 版本: v3...
摘要:一工作年限差异实时在线预览地址简单下从图中来看,企业在招的基本是年和年,这里经验不限一般也可归类为年中,这三者加起来的比例高达,哇,挺夸张的了。 原文地址:http://www.jtahstu.com/blog/s... 基于‘BOSS直聘招聘信息’分析企业到底需要什么样的PHPer 前两篇文章都没看,好意思直接看结果? Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘...
摘要:一工作年限差异实时在线预览地址简单下从图中来看,企业在招的基本是年和年,这里经验不限一般也可归类为年中,这三者加起来的比例高达,哇,挺夸张的了。 原文地址:http://www.jtahstu.com/blog/s... 基于‘BOSS直聘招聘信息’分析企业到底需要什么样的PHPer 前两篇文章都没看,好意思直接看结果? Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘...
摘要:然后准备再去抓下拉勾网的招聘数据,这也是个相对优秀的专业招聘网站了,数据也相当多,想当初找实习找正式工作,都是在这两个上找的,其他的网站几乎都没看。 原文地址:http://www.jtahstu.com/blog/s... Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗 零、致谢 感谢BOSS直聘相对权威的招聘信息,使本人有了这次比较有意思的研究之旅。 由于爬虫持续...
摘要:然后准备再去抓下拉勾网的招聘数据,这也是个相对优秀的专业招聘网站了,数据也相当多,想当初找实习找正式工作,都是在这两个上找的,其他的网站几乎都没看。 原文地址:http://www.jtahstu.com/blog/s... Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗 零、致谢 感谢BOSS直聘相对权威的招聘信息,使本人有了这次比较有意思的研究之旅。 由于爬虫持续...
阅读 2127·2020-06-12 14:26
阅读 2442·2019-08-29 16:41
阅读 1832·2019-08-29 15:28
阅读 2423·2019-08-26 13:43
阅读 727·2019-08-26 13:37
阅读 2732·2019-08-23 18:13
阅读 2752·2019-08-23 15:31
阅读 983·2019-08-23 14:10