python爬虫小脚本

codeGoogle 发布于2019-07-31 11:41 / 1765人阅读

摘要：天朝上网需要经常改文件的，你们都懂的。要在网上找啊，找到了还要复制粘贴，那叫一个麻烦啊。我是出了名的懒人嘛，写个脚本干这事吧获取网页内容，网址是假的，我只是想说一下方法设置文件路径备份文件读取文件，准备添加开始添加写入并关闭文件

天朝上网需要经常改hosts文件的，你们都懂的。要在网上找啊，找到了还要复制粘贴，那叫一个麻烦啊。
我是出了名的懒人嘛，写个脚本干这事吧……

#!/usr/bin/env python
import urllib
import os
import platform
import shutil

#获取网页内容，网址是假的，我只是想说一下方法
r = urllib.urlopen("http://www.baidu.com/hosts.html")

for line in r:
    if line.find("NEW HOSTS") >= 0:
        url = line[line.find("http://"):][:line[line.find("http://"):].find(""")]

#设置hosts文件路径
if platform.system() == "Windows":
    sysdir = os.getenv("SystemDrive")
    hostspath = sysdir + "/windows/system32/drivers/etc/hosts"
if platform.system() == "Linux":
    hostspath = "/etc/hosts"

#备份hosts文件
if os.path.isfile(hostspath+"_bak") == False:
    shutil.copyfile(hostspath,hostspath+"_bak")
shutil.copyfile(hostspath+"_bak",hostspath)

#读取文件，准备添加
host = open(hostspath,"r")
content = host.read()
host.close()
r = urllib.urlopen(url)

#开始添加
for line in r:
    line=line.strip("
")
    content = content + line
    
#写入并关闭文件
host = open(hostspath,"w")
host.write(content)
host.close()

云服务器 GPU云服务器爬虫脚本爬虫小工具 python脚本 python 写脚本

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45416.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
Evil Python

摘要：用将倒放这次让我们一个用做一个小工具将动态图片倒序播放发现引力波的机构使用的包美国科学家日宣布，他们去年月首次探测到引力波。宣布这一发现的，是激光干涉引力波天文台的负责人。这个机构诞生于上世纪年代，进行引力波观测已经有近年。那些年我们写过的爬虫从写 nodejs 的第一个爬虫开始陆陆续续写了好几个爬虫，从爬拉勾网上的职位信息到爬豆瓣上的租房帖子，再到去爬知乎上的妹子照片什么的，爬虫...

Turbo 2019-07-30 15:07 评论0 收藏0
小程序开发（一）：使用scrapy爬虫采集数据

摘要：用途广泛，可以用于数据挖掘监测和自动化测试。运行下，发现数据全部存到了数据库中。提供了一些接口来查看项目爬虫情况，以及执行或者停止执行爬虫。完成小程序所需要的所有接口的开发，以及使用定时任务执行爬虫脚本。过完年回来，业余时间一直在独立开发一个小程序。主要数据是8000+个视频和10000+篇文章，并且数据会每天自动更新。我会整理下整个开发过程中遇到的问题和一些细节问题，因为内容会比...

mrli2016 2019-07-31 10:19 评论0 收藏0
Python3网络爬虫实战---12、部署相关库的安装：Docker、Scrapyd

摘要：阿里云安装脚本安装脚本两个脚本可以任选其一，速度都非常不错。推荐的加速器有和阿里云。阿里云不同平台的镜像加速方法配置可以参考的官方文档。以上便是的安装方式说明。上一篇文章网络爬虫实战爬虫框架的安装下一篇文章网络爬虫实战部署相关库上一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis下一篇文章：Python3网络爬虫实战---...

ityouknow 2019-07-31 10:34 评论0 收藏0
Python面试经验总结，面试一时爽，一直面试一直爽！

摘要：面试的心得体会简历制作我做了两份简历，用两个手机账号，两个简历名字，分别在各个招聘网站投了双份简历，一个是数据分析的简历一个是全栈开发的简历，我真正接触快年，不管是学习还是工作学到的东西，这两年大概掌握了前端爬虫数据分析机器学习技术， showImg(https://upload-images.jianshu.io/upload_images/13090773-b96aac7e974c...

gxyz 2019-07-31 10:28 评论0 收藏0