我的小蜘蛛

darkerXi 发布于2019-08-21 17:03 / 3490人阅读

摘要：的小案例知识在于传递，互联网的发展让人们有了更丰富的知识阅览。技术的出现因应时代的发展，技术可以便捷生活。与通用爬虫不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

spider 的小案例

知识在于传递，互联网的发展让人们有了更丰富的知识阅览。技术的出现因应时代的发展，技术可以便捷生活。

定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

https://github.com/hxj886600/...

这是两个spider的项目
*第一个是百度的图片
*第一个是http://www.bootcss.com/p/font...（可以引用图标的网站）的文件名字
用的的模块

核心模块

const http=require("http");
const fs=require("fs");
const  https=require("https")

引用的模块

const cheerio=require("cheerio")


var $=cheerio.load()

 res.setEncoding("binary");
 二进制方法保存保证不失真

主要用来引jq的模块
当然也可直接引入jq的模块（不过不推荐使用）
加几张效果图吧

完成后会出现image 的文件，其中包括这几张图片感兴趣的可以试一试

云服务器 GPU云服务器我的小程序搜索蜘蛛网络蜘蛛蜘蛛算法

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/89075.html

每日 30 秒 ⏱ 投怀送抱

showImg(https://segmentfault.com/img/remote/1460000018808058?w=900&h=500); 简介 SEO、sitemap、搜索引擎优化、简单教程在暧昧期和暗恋期时心里总是悬挂着： ta 为什么还不和我表白？ ta 是不是对我没感觉？ ta 是不是只是把我当备胎？ ta 是不是对谁都这样？解决问题最简单的方式就是直接问问对方...

kevin 2019-08-23 16:50 评论0 收藏0
每日 30 秒 ⏱ 千里姻缘一线牵

简介 SEO、链接、a 标签、HTTP 状态码、link 标签、alternate、canonical 唐朝有个小伙叫韦固喜欢在河边玩，一天遇到一个老伯伯在月光下把两块石头系在一起。小伙看到很好奇便问道系石头做什么呢？老伯伯说我在给当婚人牵线，这对石头是一对夫妻。小伙问道：那我的妻子是谁呢？老伯伯说：就是村头看菜园子的女孩儿。小伙就好气，本小伙玉树临风、风流倜傥怎么可以和菜园穷丑丫头一起呢？第二...

Arno 2019-08-02 16:11 评论0 收藏0
每日 30 秒 ⏱ 千里姻缘一线牵

简介 SEO、链接、a 标签、HTTP 状态码、link 标签、alternate、canonical 唐朝有个小伙叫韦固喜欢在河边玩，一天遇到一个老伯伯在月光下把两块石头系在一起。小伙看到很好奇便问道系石头做什么呢？老伯伯说我在给当婚人牵线，这对石头是一对夫妻。小伙问道：那我的妻子是谁呢？老伯伯说：就是村头看菜园子的女孩儿。小伙就好气，本小伙玉树临风、风流倜傥怎么可以和菜园穷丑丫头一起呢？第二...

baihe 2019-08-23 16:48 评论0 收藏0
作为前端，你不得不知道的SEO

摘要：就是把你的页面直接丢给百度的接口，亲口告诉百度你有哪些页面，这是效率最高也是收录最快的方式了。百度在国内搜索引擎的占有率最高，但是很不幸，它并不支持数据的爬取。这些将作为搜索结果排序的重要依据。研发的同学，其实很多人并没有深入了解SEO这个概念。在技术博客里，提及这一块的也寥寥无几。我今天就拿自己的经验，简单给大家扫个盲，有什么遗漏的地方，欢迎大家补充。文字内容有点多，但是...

UnixAgain 2019-08-26 11:59 评论0 收藏0
web前端关于浏览器兼容的一些知识和问题解决

摘要：浏览器兼容产生的原因因为不同浏览器使用内核及所支持的等网页语言标准不同。很早以前搜索引擎优化百度百度专门给技术人员提供优化方案，是一本白皮书。被抓取的网页被称之为网页快照。 showImg(https://segmentfault.com/img/bVY9Mu?w=383&h=194); 浏览器兼容为什么产生浏览器兼容，浏览器兼容问题什么是浏览器兼容；所谓的浏览器兼容性问题，是指...

daydream 2019-08-21 17:46 评论0 收藏0