python3.6+scrapy+mysql 爬虫实战

microelec 发布于2019-07-30 16:33 / 1916人阅读

摘要：最近闲着，把之前写的小爬虫分享一下，才疏学浅，仅当参考。项目地址爬虫实战

最近闲着，把之前写的小爬虫分享一下，才疏学浅，仅当参考。

[介绍文档]

    python版本：python3.6
    scrapy: 1.5.0
    需要安装pymysql包支持访问mysql数据库
    可以使用pip安装： pip install pymysql

重要提示

*或者按照下述方法执行一键安装依赖：pip install -r requirements.txt

*重要事情说三遍：请确保你安装了mysql数据库！ 请确保你安装了mysql数据库！ 请确保你安装了mysql数据库！

*所有平台的Mysql下载地址为： https://dev.mysql.com/downloads/挑选你需要的 MySQL Community Server 版本及对应的平台。

爬虫工作配置

第一步：下载github项目文件

git clone git@github.com:caffreycc/jb51.com_crawler.git

或者直接到https://github.com/caffreycc/jb51.com_crawler.git 下载zip文件

* 第二步：安装依赖:

pip install -r requirements.txt

第三步：修改配置Config.py:

    Config.py 为项目配置文件

    host = "127.0.0.1" #改成你的数据库地址，如果需要保存在线服务器请填写数据库IP
    dbname = "your database naem"  # 数据库名字，请修改
    user = "your databse user"  # 数据库账号，请修改
    psw = "your password"  # 数据库密码，请修改
    port = 3306  # 数据库端口，在dbhelper中使用,一般无需修改

第四步：运行小爬虫

    命令行cd到你的项目文件夹，运行以下命令：
    或者直接在你的爬虫文件夹内shift + 右键 打开命令提示符或者powershell，运行以下命令
    scrapy crawl Common_crawler

    爬取的内容会自动保存到 config.py 中配置的mysql数据库中

问题反馈

　　有任何关于项目的问题欢迎提issues

贡献代码

本项目基于PythonCrawler-Scrapy-Mysql-File-Template开发，感谢作者@lawlite19（https://github.com/lawlite19）的开源分享精神。

项目地址： python3.6+scrapy+mysql 爬虫实战

GPU云服务器云服务器 scrapy爬虫实战 scrapy 爬虫爬虫scrapy scrapy爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41730.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
Python3网络爬虫实战---10、爬虫框架的安装：PySpider、Scrapy

摘要：所以如果对爬虫有一定基础，上手框架是一种好的选择。缺少包，使用安装即可缺少包，使用安装即可上一篇文章网络爬虫实战爬取相关库的安装的安装下一篇文章网络爬虫实战爬虫框架的安装上一篇文章：Python3网络爬虫实战---9、APP爬取相关库的安装：Appium的安装下一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis 我们直接...

张宪坤 2019-07-31 10:34 评论0 收藏0
非计算机专业小白自学爬虫全指南（附资源）

摘要：爬虫是我接触计算机编程的入门。练练练本文推荐的资源就是以项目练习带动爬虫学习，囊括了大部分爬虫工程师要求的知识点。拓展阅读一文了解爬虫与反爬虫最后，请注意，爬虫的工作机会相对较少。爬虫是我接触计算机编程的入门。哥当年写第一行代码的时候别提有多痛苦。本文旨在用一篇文章说透爬虫如何自学可以达到找工作的要求。爬虫的学习就是跟着实际项目去学，每个项目会涉及到不同的知识点，项目做多了，自然...

CarlBenjamin 2019-07-30 17:36 评论0 收藏0