nodejs做的爬虫，爬取腾讯动漫的内容

godruoyi 发布于2019-08-20 14:45 / 1059人阅读

摘要：首先上再上一定要设置的编码为否则会下载下来的图片打不开最后是说明引入必须的模块，函数接收，并在回调里处理数据。，函数里，定义数据源，这里用的是腾讯动漫，循环处理数据内容，里面的函数，即保存图片到本地。

首先上package.json

{
  "name": "Spider",
  "version": "1.0.0",
  "description": "spider ",
  "main": "index.js",
  "dependencies": {
    "async": "^1.5.0",
    "cheerio": "^0.19.0",
    "eventproxy": "^0.3.4",
    "superagent": "^1.4.0"
  },
  "devDependencies": {},
  "scripts": {
    "test": "node index",
    "start": "node server.js"
  }
}

再上server.js

var http = require("http");
var cheerio = require("cheerio");
var fs = require("fs");
//Utility function that downloads a URL and invokes
//callback with the data.
function downloadPage(url, callback) {
    http.get(url, function(res) {
        var data = "";
        res.on("data", function(chunk) {
            data += chunk;
        });
        res.on("end", function() {
            callback(data);
        });
    }).on("error", function() {
        callback(null);
    });
}


function start() {
    var url = "http://ac.qq.com/Comic/index/type/4/page/";
    var url2 = "http://ac.qq.com/ComicView/index/id/549690/cid/1";
    var arr = [];
    for (var i = 1; i < 13; i++) {
        downloadPage(url + i, function(data) {
            if (data) {
                var $ = cheerio.load(data);
                $("div.ret-search-result > ul > li.ret-search-item").each(function(i, e) {
                    var json = {};
                    json.tags = [];
                    json.img = $(e).find("img").attr("data-original");
                    json.link = $(e).find("a.mod-cover-list-thumb").attr("href");
                    json.id = json.link.split("/").reverse()[0];
                    json.title = $(e).find("h3.ret-works-title > a").text();
                    json.author = $(e).find("p.ret-works-author").text();
                    json.popular = $(e).find("p.ret-works-tags> span > em").text();
                    json.description = $(e).find("p.ret-works-decs").text();
                    $(e).find("p.ret-works-tags>a").each(function(i, e) {
                        json.tags.push($(e).text());
                    });
                    downloadImg(json.img);
                    arr.push(json)
                    console.log("done");
                    // console.log(arr)
                    // fs.writeFileSync("./output.json", JSON.stringify(arr));
                    // });
                })
            }
        })
    }
}

function downloadImg(url) {
    console.log("string")
    http.get(url, function(res) {
        var imgData = "";
        res.setEncoding("binary"); //一定要设置response的编码为binary否则会下载下来的图片打不开
        res.on("data", function(chunk) {
            imgData += chunk;
        });
        res.on("end", function() {
            var d = new Date();
            fs.writeFile("./downImgs/" + Math.floor(Math.random() * 10000000) + ".jpg", imgData, "binary", function(err) {
                if (err) {
                    console.log(err);
                }
                console.log("down success");
            });
        });
    });
}
exports.start = start;

最后是index.js

var server = require("./server");

server.start();

说明

1,引入必须的模块，http, cheerio, fs

2,downloadPage函数接收URL，并在回调里处理数据。

3，start函数里，定义url数据源，这里用的是腾讯动漫.

4，for循环处理url数据内容，里面的downloadImg函数，即保存图片到本地。

云服务器 GPU云服务器爬虫爬取数据 java爬虫爬取数据 nodejs爬虫 nodejs爬虫代码

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/81886.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
nodeJS实现基于Promise爬虫定时发送信息到指定邮件

摘要：也就是说，我的篇文章的请求对应个实例，这些实例都请求完毕后，执行以下逻辑他的目的在于对每一个返回值这个返回值为单篇文章的内容，进行方法处理。英国人Robert Pitt曾在Github上公布了他的爬虫脚本，导致任何人都可以容易地取得Google Plus的大量公开用户的ID信息。至今大概有2亿2千5百万用户ID遭曝光。亮点在于，这是个nodejs脚本，非常短，包括注释只有71行。 ...

xuweijian 2019-08-20 15:27 评论0 收藏0
Nodejs爬虫实战项目之链家

摘要：很基础，不喜勿喷转载注明出处爬虫实战项目之链家效果图思路爬虫究竟是怎么实现的通过访问要爬取的网站地址，获得该页面的文档内容，找到我们需要保存的数据，进一步查看数据所在的元素节点，他们在某方面一定是有规律的，遵循规律，操作，保存数据。说明作为一个前端界的小学生，一直想着自己做一些项目向全栈努力。愁人的是没有后台，搜罗之后且学会了nodejs和express写成本地的接口给前端页面调用...

noONE 2019-08-22 17:10 评论0 收藏0
Nodejs爬虫实战项目之链家

摘要：很基础，不喜勿喷转载注明出处爬虫实战项目之链家效果图思路爬虫究竟是怎么实现的通过访问要爬取的网站地址，获得该页面的文档内容，找到我们需要保存的数据，进一步查看数据所在的元素节点，他们在某方面一定是有规律的，遵循规律，操作，保存数据。说明作为一个前端界的小学生，一直想着自己做一些项目向全栈努力。愁人的是没有后台，搜罗之后且学会了nodejs和express写成本地的接口给前端页面调用...

MartinDai 2019-06-26 17:39 评论0 收藏0
手把手教你写带登录的NodeJS爬虫+数据展示

摘要：可以通过传入待删除数组元素组成的数组进行一次性删除。如果后台返回的为表示登录的已失效，需要重新执行。等所有的异步执行完毕后，再执行回调函数。回调函数的参数是每个函数返回数据组成的数组。其实在早之前，就做过立马理财的销售额统计，只不过是用前端js写的，需要在首页的console调试面板里粘贴一段代码执行，点击这里。主要是通过定时爬取https://www.lmlc.com/s/web/...

cpupro 2019-08-26 11:46 评论0 收藏0