node.js爬取数据

weij 发布于2019-08-21 17:03 / 3404人阅读

node.js爬取数据 node可以做很多事情，比如爬虫、通信等等。今天就先做一个爬虫，爬取一些百度图片。

首先我们需要引入一些模块

var http = require("http");
var https = require("https");
var fs = require("fs");
var cheerio = require("cheerio");

这里需要注意cheerio是扩展模块需要装一下

npm install cheerio  --save

然后要把这些图片的url地址获取下来

const wz="http://image.baidu.com/";
  
var strHtml="";
var resuts=[];//定义一个空数组，将数据内容存在里面 
http.get(wz,function(res){
    //接收数据
    res.on("data",function(data){
        strHtml+=data; 
    });
     //接收完成
    res.on("end",function(){
       var $=cheerio.load(strHtml);
       //找到这些图片的位置
       $(".img_single_box img").each(function(index,item){
            resuts.push($(item).attr("src"))
       });
       console.log(resuts);
     //循环调用图片函数  
    for(var i=0;i
然后根据图片URL地址保存成图片
function saveImage(resuts){
        https.get(resuts,function(res){
            
            res.setEncoding("binary");//二进制
    
            var imageData="";//将图片加载到内存中
            res.on("data",function(a){
                imageData+=a; 
            }).on("end",function(){
                //创建文件夹，如果有就不用创建
                if(!fs.existsSync("./images")){
                    fs.mkdirSync("./images");
                };
                //保存图片
                 fs.writeFile(".images/"+Math.random()+".png",imageData,"binary",function(err){
                    if(!err)
                    console.log("保存成功");
            });
            
            });
        });
    }

云服务器 GPU云服务器读取node.js数据库 node js Node.js node.js 腾讯

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/89077.html

使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

seasonley 2019-08-30 11:12 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

xiaoxiaozi 2019-08-02 15:18 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

wangym 2019-08-23 18:07 评论0 收藏0
上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。难道爬虫只能用 python 做？不，我们上天的 Node.js 也可以做！需要准备的包 Node.js的最新版本下载地址 Node.js官网 npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应...

宋华 2019-08-23 16:17 评论0 收藏0
上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。难道爬虫只能用 python 做？不，我们上天的 Node.js 也可以做！需要准备的包 Node.js的最新版本下载地址 Node.js官网 npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应...

104828720 2019-08-02 16:08 评论0 收藏0