摘要：最近在学习，光看官方文档比较枯燥，于是想用一个项目把各种框架和技术串联起来，思来想去觉得爬虫是一个不错的。大概思路是这样固定频率去爬取新浪财经的头条新闻，爬到的标题和链接以方式推到的中，再通过消费，在中查看。
最近在学习springboot，光看官方文档比较枯燥，于是想用一个项目把各种框架和技术串联起来，思来想去觉得爬虫是一个不错的idea。
大概思路是这样：固定频率去爬取新浪财经的头条新闻，爬到的标题和链接以json方式推到kafka的topic中，再通过ELK消费，在kibana中查看。
首先通过Spring Initializr下载一个demo工程，选择我们需要的依赖包，jsoup的包需要额外添加。
引入到idea中，修改pom文件，加入jsoup依赖，由于习惯了使用jetty作为web容器，所以把tomcat踢掉，引入jetty的依赖，为了方便处理json，引入fastjson依赖。
quartz的使用可以参考官网文档，这里我们通过mysql来持久化定时任务相关信息，涉及到mysql，顺便把mybatis和druid依赖也一起引入。
quartz相关表的sql在官网的demo里可以找到，这里就略过，假设表已建好。springboot提供了很好的quartz支持，自动配置了一个Scheduler，直接Autowired就可以使用，我们新建一个Service，在系统启动的时候启动爬取新闻的定时任务，代码如下：
假设每30分钟爬取一次，我们还需要一个Job实现类，来完成具体的爬取任务，也可以通过不同的job来分别爬取，这里就不展开了。Job实现类如下：
在爬网页之前先看一下每个页面的结构，以新浪财经为例，地址：https://finance.sina.com.cn/，查看页面结构可以发现，我们需要的头条新闻都在“m-hdline”这个class的a标签下，jsoup的使用比较简单，根据需要查找对应的文档就可以了，直接上代码：
接下来需要将获取到的数据发到kafka的topic中，我的win10是家庭版，天生不带docker，我又懒得折腾toolbox，于是搞了个自带的ubuntu虚拟机，直接下载kafka安装，然后创建一个topic:financenews。这时候可以将kafka的信息配置在我们的工程中，如下：
springboot也贴心的为我们准备了KafkaTemplate，Autowired即可。这里我们还没有搭建好elk，可以使用直接监听定时任务发送到的topic中的消息是否正常。
最后在job中添加发送消息到kafka的处理：
代码到这里基本差不多了，下面我们启动应用看看效果：
成功。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/36031.html
摘要：最近在学习，光看官方文档比较枯燥，于是想用一个项目把各种框架和技术串联起来，思来想去觉得爬虫是一个不错的。大概思路是这样固定频率去爬取新浪财经的头条新闻，爬到的标题和链接以方式推到的中，再通过消费，在中查看。 最近在学习springboot，光看官方文档比较枯燥，于是想用一个项目把各种框架和技术串联起来，思来想去觉得爬虫是一个不错的idea。 大概思路是这样：固定频率去爬取新浪财经的头...
摘要：三实践案例案例简介分布式系统中，微服务基础组件等，系统中间件，等，对常用功能配置等，进行二次浅封装并统一集成管理，以满足日常开发中基础环境搭建与临时工具的快速实现。 一、背景简介 分布式系统中存在很多拆分的服务，在不断迭代升级的过程中，会出现如下常见的棘手情况： 某个技术组件版本升级，依赖包升级导致部分语法或者API过期，或者组件修复紧急的问题，从而会导致分布式系统下各个服...
摘要：本文使用实现对定时任务的增删改查启用停用等功能。并把定时任务持久化到数据库以及支持集群。决定什么时候来执行任务。定义的是任务数据，而真正的执行逻辑是在中。封装定时任务接口添加一个暂停恢复删除修改暂停所有恢复所有 简介 Quartz是一款功能强大的任务调度器，可以实现较为复杂的调度功能，如每月一号执行、每天凌晨执行、每周五执行等等，还支持分布式调度。本文使用Springboot+Myba...
摘要：而我这里定时任务的触发是要通过接口的方式来触发，所以只用实现以下的调度器即可。我这里简单说下任务的调度器，具体的任务类，触发器，任务什么时候执行是由它决定的。遇到的坑解决方式这个是因为不兼容的问题，所以使用是不会出现这个错误的。 实现定时任务的几种方式: 1.使用linux的crontab 优点: 1.使用方式很简单,只要在crontab中写好 2.随时可以修改,不需要...
阅读 1849·2021-11-25 09:43
阅读 1491·2021-09-02 15:21
阅读 3453·2019-08-30 15:52
阅读 1501·2019-08-30 12:48
阅读 1295·2019-08-30 10:57
阅读 2929·2019-08-26 17:41
阅读 681·2019-08-26 11:59
阅读 1366·2019-08-26 10:41
