python抓取简单网页数据的小实例

Rainie 发布于2019-07-24 17:55 / 1971人阅读

摘要：抓取网页数据的思路有好多种，一般有直接代码请求模拟浏览器请求数据通常需要登录验证控制浏览器实现数据抓取等。这篇不考虑复杂情况，放一个读取简单网页数据的小例子目标数据将网站上这个页面上所有这些选手的超链接保存下来。

抓取网页数据的思路有好多种，一般有：直接代码请求http、模拟浏览器请求数据（通常需要登录验证）、控制浏览器实现数据抓取等。这篇不考虑复杂情况，放一个读取简单网页数据的小例子：

目标数据

将ittf网站上这个页面上所有这些选手的超链接保存下来。

数据请求

真的很喜欢符合人类思维的库，比如requests，如果是要直接拿网页文本，一句话搞定：

doc = requests.get(url).text

解析html获得数据

以beautifulsoup为例，包含获取标签、链接，以及根据html层次结构遍历等方法。参考见这里。下面这个片段，从ittf网站上获取指定页面上指定位置的链接。

url = "http://www.ittf.com/ittf_ranking/WR_Table_3_A2.asp?Age_category_1=&Age_category_2=&Age_category_3=&Age_category_4=&Age_category_5=&Category=100W&Cont=&Country=&Gender=W&Month1=4&Year1=2015&s_Player_Name=&Formv_WR_Table_3_Page="+str(page)
doc = requests.get(url).text
soup = BeautifulSoup(doc)
atags = soup.find_all("a")
rank_link_pre = "http://www.ittf.com/ittf_ranking/"

mlfile = open(linkfile,"a")
for atag in atags:
    #print atag
    if atag!=None and atag.get("href") != None:
        if "WR_Table_3_A2_Details.asp" in atag["href"]:
            link = rank_link_pre + atag["href"]
            links.append(link)
            mlfile.write(link+"
")
            print "fetch link: "+link
mlfile.close()

GPU云服务器云服务器 python抓取网页数据 python网页抓取 python简单抓取 python简单实例

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37492.html

如何用Python抓抖音上的小姐姐

摘要：比如分钟破译朋友圈测试小游戏文章里用的方法但有些根本就没有提供网页端，比如今年火得不行的抖音。所以常用的方式就是通过在电脑上装一些抓包软件，将手机上的网络请求全部显示出来。总结下，重点是的抓取，关键是配置代理证书，难点是对请求的分析。爬虫的案例我们已讲得太多。不过几乎都是网页爬虫。即使有些手机才能访问的网站，我们也可以通过 Chrome 开发者工具的手机模拟功能来访问，以便...

FingerLiu 2019-07-30 18:07 评论0 收藏0
文章内容提取库 goose 简介

摘要：是一个文章内容提取器，可以从任意资讯文章类的网页中提取文章主体，并提取标题标签摘要图片视频等信息，且支持中文网页。爬虫抓取数据有两个头疼的点，写过爬虫的小伙伴们一定都深有体会：网站的防抓取机制。你要尽可能将自己伪装成一个人，骗过对方的服务器反爬验证。网站的内容提取。每个网站都需要你做不同的处理，而且网站一旦改版，你的代码也得跟着更新。第一点没什么捷径可走，套路见得多...

keithxiaoy 2019-07-31 11:12 评论0 收藏0
Python3网络爬虫实战---24、requests：基本使用

摘要：上一篇文章网络爬虫实战使用分析协议下一篇文章在前面一节我们了解了的基本用法，但是其中确实有不方便的地方。发送之后，得到的自然就是，在上面的实例中我们使用了和获取了内容，不过还有很多属性和方法可以获取其他的信息，比如状态码等信息。上一篇文章：Python3网络爬虫实战---23、使用Urllib：分析Robots协议下一篇文章：在前面一节我们了解了 Urllib 的基本用法，但是其中...

lentrue 2019-07-31 10:35 评论0 收藏0
一键下载：将知乎专栏导出成电子书

摘要：在知乎上，你一定关注了一些不错的专栏比如的编程教室。有需要的请在公众号里回复爬虫实战源码下载获取知乎专栏下载器源码，请在公众号的编程教室里回复关键字知乎除了代码外，本专栏打包好的也一并奉上，欢迎阅读与分享。老是有同学问，学了 Python 基础后不知道可以做点什么来提高。今天就再用个小例子，给大家讲讲，通过 Python 和爬虫，可以完成怎样的小工具。在知乎上，你一定关注了...

ivyzhang 2019-07-30 17:52 评论0 收藏0