node：爬虫爬取网页图片

ygyooo 发布于2019-08-26 12:12 / 2452人阅读

摘要：目录安装，并下载依赖搭建服务请求我们要爬取的页面，返回安装我们开始安装，可以去官网下载下载地址，下载完成后运行使用，安装成功后会出现你所安装的版本号。

前言

周末自己在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，自己就想着作为一个码农，可以把这些图片都爬取下来做成一个微信小程序，说干就干，了解一下基本都知道怎么做了，整理分享一波给大家。

目录：

安装node，并下载依赖

搭建服务

请求我们要爬取的页面，返回json

安装node
我们开始安装node，可以去node官网下载node下载地址，下载完成后运行node使用，

   node -v

安装成功后会出现你所安装的版本号。

接下来我们使用node, 打印出hello world，新建一个名为index.js文件输入
console.log("hello world")
运行这个文件

node index.js

就会在控制面板上输出hello world
搭建服务器
新建一个·名为node的文件夹
首先你需要下载express依赖

npm install express

在新建一个名为demo.js的文件
目录结构如图：

在demo.js引入下载的express

const express = require("express");
const app = express();
app.get("/index", function(req, res) {
res.end("111")
})
var server = app.listen(8081, function() {
    var host = server.address().address
    var port = server.address().port
    console.log("应用实例，访问地址为 http://%s:%s", host, port)

})

运行node demo.js简单的服务就搭起来了，如图：

请求我们要爬取的页面
首先下载需要的依赖

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用来发起请求的，是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下.，也可以使用http发起请求
superagent-charset防止爬取下来的数据乱码，更改字符格式
cheerio为服务器特别定制的，快速、灵活、实施的jQuery核心实现.。
安装完依赖就可以引入了

var superagent = require("superagent");
var charset = require("superagent-charset");
charset(superagent);
const cheerio = require("cheerio");

引入之后就请求我们的地址，https://www.qqtn.com/tx/weixi...

const baseUrl = "https://www.qqtn.com/"

这些设置完之后就是发请求了，接下来请看完整代码demo.js

var superagent = require("superagent");
var charset = require("superagent-charset");
charset(superagent);
var express = require("express");
var baseUrl = "https://www.qqtn.com/"; //输入任何网址都可以
const cheerio = require("cheerio");
var app = express();
app.get("/index", function(req, res) {
    //设置请求头
    res.header("Access-Control-Allow-Origin", "*");
    res.header("Access-Control-Allow-Methods", "PUT, GET, POST, DELETE, OPTIONS");
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header("Access-Control-Allow-Headers", "Content-Type");
    //类型
    var type = req.query.type;
    //页码
    var page = req.query.page;
    type = type || "weixin";
    page = page || "1";
    var route = `tx/${type}tx_${page}.html`
        //网页页面信息是gb2312，所以chaeset应该为.charset("gb2312")，一般网页则为utf-8,可以直接使用.charset("utf-8")
    superagent.get(baseUrl + route)
        .charset("gb2312")
        .end(function(err, sres) {
            var items = [];
            if (err) {
                console.log("ERR: " + err);
                res.json({ code: 400, msg: err, sets: items });
                return;
            }
            var $ = cheerio.load(sres.text);
            $("div.g-main-bg ul.g-gxlist-imgbox li a").each(function(idx, element) {
                var $element = $(element);
                var $subElement = $element.find("img");
                var thumbImgSrc = $subElement.attr("src");
                items.push({
                    title: $(element).attr("title"),
                    href: $element.attr("href"),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({ code: 200, msg: "", data: items });
        });
});
var server = app.listen(8081, function() {

    var host = server.address().address
    var port = server.address().port

    console.log("应用实例，访问地址为 http://%s:%s", host, port)

})

运行demo.js就会返回我们拿到的数据，一个简单的node爬虫就完成了，如图：

希望可以到项目node爬虫上点一个 star 作为你对这个项目的认可与支持，谢谢。

云服务器 GPU云服务器 python爬取网页图片爬虫爬取数据爬取网页 java爬虫爬取数据

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/108209.html

使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

seasonley 2019-08-30 11:12 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

xiaoxiaozi 2019-08-02 15:18 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

wangym 2019-08-23 18:07 评论0 收藏0
上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。难道爬虫只能用 python 做？不，我们上天的 Node.js 也可以做！需要准备的包 Node.js的最新版本下载地址 Node.js官网 npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应...

宋华 2019-08-23 16:17 评论0 收藏0