上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

kyanag 发布于2019-08-30 15:56 / 3083人阅读

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。

难道爬虫只能用 python 做？ 不，我们上天的 Node.js 也可以做！

需要准备的包

Node.js的最新版本下载地址 Node.js官网

npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm

npm的第三方包 puppeteer 在对应的js文件内运行命令行工具 npm i puppeteer -D 即可

爬虫在获取某些有保护机制的网页时可能会失效

初入江湖 -自在地境篇

const puppeteer = require("puppeteer"); //  引入依赖  
(async () => {   //使用async函数完美异步 
    const browser = await puppeteer.launch();  //打开新的浏览器
    const page = await browser.newPage();   // 打开新的网页 
    await page.goto("https://www.jd.com/");  //前往里面 "url" 的网页
    const result = await page.evaluate(() => {   //这个result数组包含所有的图片src地址
        let arr = []; //这个箭头函数内部写处理的逻辑  
        const imgs = document.querySelectorAll("img");
        imgs.forEach(function (item) {
            arr.push(item.src)
        })
        return arr 
    });
    // "此时的result就是得到的爬虫数据，可以通过"fs"模块保存"
})()

  复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了

这个 puppeteer 的包 ，其实是替我们开启了另一个浏览器，重新去开启网页，获取它们的数据。

潇洒入世 -逍遥天境篇

上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页

中的所有 标签对应的跳转网页中的所有 title的文字内容，最后放到一个数组中。

我们的async函数上面一共分了五步，只有 puppeteer.launch() ,

browser.newPage(), browser.close() 是固定的写法。

page.goto 指定我们去哪个网页爬取数据，可以更换内部url地址，也可以多次

调用这个方法。

page.evaluate 这个函数，内部是处理我们进入想要爬取网页的数据逻辑

page.goto和 page.evaluate两个方法，可以在async内部调用多次，

那意味着我们可以先进入京东网页，处理逻辑后，再次调用page.goto这个函数，

注意，上面这一切逻辑，都是puppeteer这个包帮我们在看不见的地方开启了另外一个
浏览器，然后处理逻辑，所以最终要调用browser.close()方法关闭那个浏览器。

这时候我们对上一篇的代码进行优化，爬取对应的资源。

 const puppeteer = require("puppeteer");
(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto("https://www.jd.com/");
    const hrefArr = await page.evaluate(() => {
        let arr = [];
        const aNodes = document.querySelectorAll(".cate_menu_lk");
        aNodes.forEach(function (item) {
            arr.push(item.href)
        })
        return arr
    });
    let arr = [];
    for (let i = 0; i < hrefArr.length; i++) {
        const url = hrefArr[i];
        console.log(url) //这里可以打印 
        await page.goto(url);
        const result = await page.evaluate(() => { //这个方法内部console.log无效 
            
              return  $("title").text();  //返回每个界面的title文字内容
        });
        arr.push(result)  //每次循环给数组中添加对应的值
    }
    console.log(arr)  //得到对应的数据  可以通过Node.js的 fs 模块保存到本地
    await browser.close()
})()

上面有天坑   page.evaluate函数内部的console.log不能打印，而且内部不能获取外部的变量,只能return返回，
使用的选择器必须先去对应界面的控制台实验过能不能选择DOM再使用，比如京东无法使用querySelector。这里由于
京东的分界面都使用了jQuery，所以我们可以用jQuery，总之他们开发能用的选择器，我们都可以用，否则就不可以。

威震武林 -神游玄境篇

数据在这个时代非常珍贵，上面两个能获取一些指定的特定资源，按照网页的设计逻辑，选定特定的href的地址，
可以先直接获取对应的资源，也可以通过再次使用  page.goto方法进入，再调用 page.evaluate() 处理逻辑。
这里就不做过多介绍了，毕竟 Node.js 是可以上天的，或许未来它真的什么都能做。这么优质简短的教程，请收藏
或者转发给您的朋友，谢谢。

云服务器 GPU云服务器之基础篇深入理解webrtc之aec 爬虫爬取数据 java爬虫爬取数据

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/117568.html

上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。难道爬虫只能用 python 做？不，我们上天的 Node.js 也可以做！需要准备的包 Node.js的最新版本下载地址 Node.js官网 npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应...

宋华 2019-08-23 16:17 评论0 收藏0
上天的Node.js之爬虫篇 15行代码爬取京东淘宝资源【深入浅出】

摘要：这里由于京东的分界面都使用了，所以我们可以用，总之他们开发能用的选择器，我们都可以用，否则就不可以。难道爬虫只能用 python 做？不，我们上天的 Node.js 也可以做！需要准备的包 Node.js的最新版本下载地址 Node.js官网 npm 包管理器下载下载最新的官网版本 Node.js 会自带 npm npm的第三方包 puppeteer 在对应...

104828720 2019-08-02 16:08 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

seasonley 2019-08-30 11:12 评论0 收藏0
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

摘要：上面只爬取了京东首页的图片内容，假设我的需求进一步扩大，需要爬取京东首页中的所有标签对应的跳转网页中的所有的文字内容，最后放到一个数组中。 showImg(https://segmentfault.com/img/bVbtVeV?w=3840&h=2160); 本文适合无论是否有爬虫以及Node.js基础的朋友观看~ 需求：使用Node.js爬取网页资源，开箱即用的配置将爬取到的...

xiaoxiaozi 2019-08-02 15:18 评论0 收藏0