资讯专栏INFORMATION COLUMN

FE.B-在线学习网站 “麦**院” 课程爬虫实现

Xufc / 2742人阅读

摘要:个人理解,对于一个按课程付费为主要收入的在线学习网站,课程就是变现的全部家当,如果安全措施做得不到位,那前期收集视频教程的钱算是打水漂了。

本文描述方法由于2016年年初官方网站升级,固不可重现。
背景

最近兴起的互联网+教育,导致了很多在线学习网站的诞生,但是由于很多开发者图方便,网站安全措施做的不规范,导致很多课程资源不够安全。个人理解,对于一个按课程付费为主要收入的在线学习网站,课程就是变现的全部家当,如果安全措施做得不到位,那前期收集视频教程的钱算是打水漂了。

一次偶然发现

搜视频教程的时候偶然发现一个叫“麦。。院”的it在线教育平台。该平台权限提升与否与可看视频没有关联,导致从html里可以通过mp4下载,而绕过前端js判断的用户权限。不过值得表扬的是用js控制html5视频加速播放。

▼前端静态页面

所以,可以通过一些简单的网络爬虫进行抓取该课程网站的所有教程。

这个网络把钱分成四步:

▼第一步,获取课程的分类

▼第二步,获取课程的章节

▼第三步,获取课程的视频链接(保险起见先迅雷download下来)

▼第四步,从链接中获取mp4后缀以及对应的文件名

▼第五步,迅雷带你飞(最多支持1000条任务,还得分批。。。)

总结

没有多线程和智能化爬虫没什么技术含量,无非是http,正则的组合。不过有了这些视频教程,感觉又能提升一个学术档次。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/22314.html

相关文章

  • 一步步爬取Coursera课程资源

    摘要:至此登录功能初步实现。为了方便我们快速定位到每节课的所有资源,可以把一节课的所有资源文件均命名为课名文件类型。可以看一下一个测试例子中的文件,部分内容如下到这里为止,我们已经成功完成爬取课程资源的目标,具体的代码放在上。 原文地址 有时候我们需要把一些经典的东西收藏起来,时时回味,而Coursera上的一些课程无疑就是经典之作。Coursera中的大部分完结课程都提供了完整的配套教学资...

    Simon_Zhou 评论0 收藏0
  • Python爬虫学习路线

    摘要:以下这些项目,你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候,你应该考虑如何组合这四个步骤,使你的爬虫达到效率最高,也就是所谓的爬虫策略问题,爬虫策略学习不是一朝一夕的事情,建议多看看一些比较优秀的爬虫的设计方案,比如说。 (一)如何学习Python 学习Python大致可以分为以下几个阶段: 1.刚上手的时候肯定是先过一遍Python最基本的知识,比如说:变量、数据结构、语法...

    liaoyg8023 评论0 收藏0
  • Python从入门到转行

    摘要:学了大半年之后成功转行做前端了。包含大量其他神经网络库中的包装器和抽象,其中最值得注意的是,其中也包含一些机器学习的实用模块。它是轻量级可扩展的神经网络工具包,同时拥有友好的界面,可供机器学习的训练和预测使用。 题记:大二的时候发现人生苦短,所以信了拍神,开始学Python。学了大半年之后成功转行做前端了。来写个教程帮助大家入门Python。 Python零基础入门 零基础入门就得从最...

    ingood 评论0 收藏0
  • Python3 实现淘女郎照片爬虫

    摘要:项目简介本实验通过使用实现一个淘宝女郎图片收集爬虫,学习并实践及正则表达式等知识。本教程由阿发布在实验楼,完整教程及在线练习地址实现淘女郎照片爬虫,可以直接在教程中下载代码使用。 showImg(https://segmentfault.com/img/bVBgrF); 项目简介:本实验通过使用 Python 实现一个淘宝女郎图片收集爬虫,学习并实践 BeautifulSoup、Sel...

    jindong 评论0 收藏0
  • 让敲过的每行代码产生价值

    摘要:采用快速掌握核心知识解决实际问题中补充的方式。让每一行代码都能给自己带来价值,才是每个码农应该有的思维,而不是成为一个职业码农。不过做个人博客有一个重要的价值便是在你做成之后可以部署上线让它成为自己在互联网的基地。 勤学似春起之苗,不见其增,而日有所长 如果你一直想学python,但是不知道从何入手,那么就不要犹豫了。这篇文章就是我的python新实战计划可能适合你。 学习 Pytho...

    OnlyMyRailgun 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<