小白爬虫scrapy第五篇

I_Am 发布于2019-07-30 15:23 / 904人阅读

摘要：接下来将数据保存到数据库中在项目路径下创建一个目录名字叫做以便区分创建将其他目录的文件拷贝一份放入该目录然后可以正式开始吧爬取的数据如何存放在数据库中了客观代码来了打开文件在最下面添加数据库地址数据库用户名数据库密码数据库端口数据库中库由于

接下来将数据保存到数据库中
在项目路径下创建一个目录名字叫做:mysqlpipelines以便区分
创建将其他目录的__init__.py文件拷贝一份放入该目录
然后可以正式开始吧爬取的数据如何存放在数据库中了,客观代码来了

打开settings.py文件在最下面添加
# configure MySQL
MYSQL_HOSTS = "127.0.0.1"#数据库地址
MYSQL_USER = "root"#数据库用户名
MYSQL_PASSWORD = "root"#数据库密码
MYSQL_PORT = "3306"#数据库端口
MYSQL_DB = "test"#数据库中test库

由于我的数据库是本地的那就所以直接酱紫
之后呢,在mysqlpipelines目录中新建一个sql.py
代码如下

import mysql.connector
from dingdian import settings
# 引用配置文件
MYSQL_HOSTS = settings.MYSQL_HOSTS
MYSQL_USER = settings.MYSQL_USER
MYSQL_PASSWORD = settings.MYSQL_PASSWORD
MYSQL_PORT = settings.MYSQL_PORT
MYSQL_DB = settings.MYSQL_DB
# 初始化MYSQL游标操作
cnx = mysql.connector.connect(user=MYSQL_USER, password=MYSQL_PASSWORD, host=MYSQL_HOSTS, database=MYSQL_DB)
cur = cnx.cursor(buffered=True)

# 定义一个sql类
class Sql:
    # @classmethod 做类修饰,相当于静态类
    # 定义函数,将函数中的变量保存到数据库中
    @classmethod
    def insert_dd_name(cls, video_name, video_time, video_imgurl, video_url):
        sql = "INSERT INTO video_info(video_name, video_time, video_imgurl, video_url)
            VALUES(%(video_name)s, %(video_time)s, %(video_imgurl)s, %(video_url)s)"
        value = {"video_name" : video_name,
                 "video_time": video_time ,
                 "video_imgurl": video_imgurl ,
                 "video_url": video_url }
        print(sql, value)
        cur.execute(sql, value)
        cnx.commit()
        pass
        
    # 查找是否有重复的小说编号有则返回1 没有则返回0
    @classmethod
    def select_name(cls, video_name):
        sql = "SELECT EXISTS(SELECT 1 FROM video_info WHERE video_name= %(video_name)s)"
        value = {
            "video_name": video_name
        }
        cur.execute(sql, value)
        return cur.fetchall()[0]

上面代码中import mysql.connector可能会报错,如果报错的话就去百度python如何下载数据库连接包吧
然后继续在mysqlpipelines创建一个pipelines.py
代码如下:

from .sql import Sql
from AiQuer.items import AiquerItem

class DingdianPipeline(object):

    def process_item(self, item, spider):
        if isinstance(item, AiquerItem):
            video_name= item["video_name"]
            ret = Sql.select_name(video_name)
            if ret[0] == 1:
                print(u"已存在")
            else:
                video_name= item["video_name"]
                video_time= item["video_time"]
                video_imgurl= item["video_imgurl"]
                video_url= item["video_url"]
                
                Sql.insert_dd_name(video_name, video_time, video_imgurl, video_url)
                print(u"开始存视频信息")
        return item

最后在settings.py里面去注册一下DingdianPipeline
找到下面这一段

# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    "AiQuer.mysqlpipelines.pipelines.AiquerPipeline": 300,
}

注:我在这里面没有建立数据库表请同学们自己去创建表吧
启用后你会发现数据库有你选择用户的所有视频,哈哈哈~
python的就到这儿了.如果要详细了解进阶的话就看python的scrapy文档吧!
附上链接Scrapy入门教程.拜拜~

GPU云服务器云服务器第五篇 scrapy 爬虫爬虫scrapy scrapy爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41215.html

小白爬虫scrapy第一篇

摘要：如果想先学习的话推荐看下基础教学菜鸟教程这个网站的教程里面的内容还是挺不错的非常适合小白学习好了废话不多说开始学习如何安装吧安装我上篇小白爬虫篇简介下面的链接安装包后在或者在中输入命令过程中可能会问你是否安装其他扩展包选按回车就好了安装完成如果想先学习python的话推荐看下Python基础教学|菜鸟教程这个网站的教程,里面的内容还是挺不错的非常适合小白学习好了废话不多说开始学习如何...

beanlam 2019-07-30 15:08 评论0 收藏0
小白爬虫scrapy第四篇

摘要：没有做具体数据处理了直接把他们保存为数据了很长很长一段眼花下一篇是如何去保存在数据库中在上篇中没有说到启动如何去启动,scrapy是使用cmd命令行去启动的咱们用scrapy的cmdline去启动命名point.py # 导入cmdline 中的execute用来执行cmd命令 from scrapy.cmdline import execute # 执行cmd命令参数为[ scra...

cnio 2019-07-30 15:15 评论0 收藏0
小白爬虫scrapy第二篇

摘要：创建爬虫项目我创建的项目名称为用打开项目可以看到目录结构如下根目录有个是他的配置文件用来存放你的爬虫文件我就不做解释了存放集合中间件用来自定义插件在这里咱们用不到这玩意用来存储数据这个还用解释吗你可以在中看到这个他们的具体介绍就去看入门到奔创建爬虫项目 scrapy startproject (projectName) 我创建的项目名称为AIQuery scrapy startpro...

booster 2019-07-30 15:09 评论0 收藏0
小白爬虫scrapy第三篇

摘要：基于的树状结构，提供在数据结构树中找寻节点的能力。起初的提出的初衷是将其作为一个通用的介于与间的语法模型。在你的spiders目录下创建自己第一个爬虫项目,我我这儿命名为AiquerSpider.py然后编辑文件 # !/usr/bin/python # -*- coding: UTF-8 -*- import scrapy from scrapy.http import Reque...

laznrbfe 2019-07-30 15:10 评论0 收藏0