Python爬虫入门

xbynet 发布于2019-07-30 16:47 / 1941人阅读

摘要：什么是爬虫一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息四种基本数据结构列表列表中的每个元素都是可变的列表的元素都是有序的，也就是说每个元素都有对应的位置列表可以容纳所有的对象波波超哥小明波波超哥小明如果为切片返回的也是列

什么是爬虫？

一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息

Python四种基本数据结构

列表

**列表中的每个元素都是可变的;
列表的元素都是有序的，也就是说每个元素都有对应的位置;
列表可以容纳所有的对象;**

list = ["波波", "90", "超哥", "小明"]
print(list[0])
print(list(2:))
# result
波波
["超哥", "小明"] # 如果为切片返回的也是列表的数据结构

字典

user_info = {
  "name": "小明",
  "age": "23",
  "sex": "male"
}

元组

**在爬虫中元组和集合很少用到，这里只做简单的介绍;
元组: 类似于列表，但是元组的元素是不能修改只能查看的**

# 元组
tuple = (1,2,3)

集合

集合：类似数学中的集合，每个集合中的元素是无序的，不可以有重复的对象，因此可以通过集合把重复的数据去除!

# 集合
list = [1,1,2,2,3,4,5] 
set = set(list)
# result {1,2,3,4,5}

Python文件操作

# 打开文件
open(name,[, mode[,buffering]])

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt")

# 读写文件

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt", "w")
f.write("Hello World")

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt", "r")
content = f.read()
print(content)
# result Hello World

# 关闭文件
f.close()

爬虫原理

多页面爬虫流程

如何安装Python环境？

Mac 系统自带Python 2.7，安装新版本请前往官网下载，安装成功之后，在命令行输入python3 如图：

工欲善其事，必先利其器

推荐PyCharm

PyCharm破解方法拿走不谢！

推荐两个第三方库

Beautiful Soup 中文文档

Scrapy 中文文档

QuickDemo

安装Scrapy并创建项目

pip install scrapy
scrapy startproject QuickDemo
cd QuickDemo

在spiders目录下创建test_spilder.py文件

具体代码(需要事先安装BeautifulSoup库)

# -*- coding:utf-8 -*-
import scrapy
from bs4 import BeautifulSoup


class tsSpride(scrapy.Spider):
    name = "test" # 爬虫的唯一名字，在项目中爬虫名字一定不能重复

    # start_requests() 必须返回一个迭代的Request
    def start_requests(self):
        # 待爬取的URL列表
        urls = ["http://www.jianshu.com/",]
        # 模拟浏览器
        headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
        for url in urls:
            yield scrapy.Request(url=url, headers=headers, callback=self.parse)

    # 处理每个请求的下载响应
    def parse(self, response):
        soup = BeautifulSoup(response.body, "html.parser")
        titles = soup.find_all("a", "title")
        for title in titles:
            print(title.string)

        try:
            file = open(r"/Users/GreetingText/QuickDemo/jianshu.txt", "w")
            # 将爬取到的文章题目写入txt中
            for title in titles:
                file.write(title.string + "
")
        finally:
            if file:
                # 关闭文件（很重要）
                file.close()

在命令行输入

scrapy crawl test

爬取数据成功如图：

而且项目里面也生成了一个jianshu.txt文件

打开jianshu.txt如图:

以下是参考链接

本文参考文章

BeautifulSoup官网

Scrapy官网

windows安装Python3

Mac安装Python3

云服务器 GPU云服务器 python入门爬虫 python爬虫入门 python网络爬虫入门 python爬虫教程入门

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41829.html

零基础如何学爬虫技术

摘要：楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，。本文来源知乎作者路人甲链接楚江数据提供网站数据采集和爬虫软件定制开发服务，服务范围涵盖社交网络电子商务分类信息学术研究等。楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，http://www.chujiangdata.com。第一：Python爬虫学习系列教程（来源于某博主：htt...

KunMinX 2019-07-25 11:29 评论0 收藏0
Python爬虫学习路线

摘要：以下这些项目，你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说。（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法...

liaoyg8023 2019-07-31 10:27 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
python爬虫入门（一）

摘要：想办法区分爬虫程序和正常的用户。爬虫是工具性程序，对速度和效率要求较高。生态圈完善，是最大对手。最要命的是爬虫需要经常修改部分代码。爬虫分类通用爬虫也就是百度搜狐等搜索引擎。原本是为测试来测试网站的，后来成了爬虫工程师最喜爱的工具。一、爬虫的基本知识： 1. 什么是爬虫爬虫的英文翻译为spider或者crawder,意为蜘蛛或者爬行者，从字面意思我们可以体会到：爬虫就是把自己当做蜘...

lentrue 2019-07-30 17:06 评论0 收藏0
基于 Python 的 Scrapy 爬虫入门：页面提取

摘要：目录基于的爬虫入门环境搭建基于的爬虫入门页面提取基于的爬虫入门图片处理下面创建一个爬虫项目，以图虫网为例抓取图片。目录基于 Python 的 Scrapy 爬虫入门：环境搭建基于 Python 的 Scrapy 爬虫入门：页面提取基于 Python 的 Scrapy 爬虫入门：图片处理下面创建一个爬虫项目，以图虫网为例抓取图片。一、内容分析打开图虫网，顶部菜单发现...

willin 2019-07-31 11:01 评论0 收藏0
scrapy入门

摘要：快速入门首先，初步要做的就是快速构建一个爬虫。然后把结果加入到一个队列中。既然是入门，我们肯定是先关心我们需要的。因为公司项目需求，需要做一个爬虫。所以我一个python小白就被拉去做了爬虫。花了两周时间，拼拼凑凑总算赶出来了。所以写个blog做个记录。快速入门首先，初步要做的就是快速构建一个爬虫。配置环境 Mac下安装 1) 直接从官网下载 python下载官网 2) 是通过...

CrazyCodes 2019-07-30 17:33 评论0 收藏0