如何使用python抓取issues.apache.org上的bug列表

jerryloveemily 发布于2019-07-30 17:38 / 818人阅读

摘要：问题描述开源在的项目中，通常我们会关心我们开源的项目中每天的数量最新的条问题，统计各模块的数量，按照人名统计等工作。于是我想到用一个脚本每天定时运行来解决数据的问题。

问题描述

开源在Apache的项目中，通常我们会关心我们开源的项目中每天bug的数量、最新的10条问题，统计各模块的bug数量，按照人名统计等工作。但这些数据都在apache网站上，存在两个问题，一个是国内平常访问Apache如果不走代理就会比较慢；二是数据没办法供内部系统使用。

于是我想到用一个脚本每天定时运行来解决数据的问题。通过脚本从Apache上把数据拉下来存储在自己内部数据库中，基于本地数据库运行的内部系统可以完成各种图表展示和数据统计的工作，这样即提高了数据访问的效率，也可以很好的和内部系统结合完成自动化的问题跟踪和解决。同时还可以将外部系统和内部bug跟踪系统进行对比，将重复的问题自动化的补充答案。等等，优点多多。

欢迎大家打开脑洞提出更多的方案！

1.使用说明

脚本依赖:

此脚本依赖于requests,各位点击连接自取，安装requests可能会依赖于pip，大家可以把python升级到2.7以上安装pip，2.7以下用网上教程会报错。

脚本使用说明:

python SCRIPT_NAME FILE_NAME
SCRIPT_NAME:下面这段代码所在的文件名
FILE_NAME: 将数据导入到的目标文件名，后缀默认为csv

示例:

python jira.py ~/dataFile

2.分享完整代码

打开python的文件jira.py，内容如下：

import requests
import sys
reload(sys)
##设置系统编码，如果不是utf-8会有错误
sys.setdefaultencoding("utf-8")

dataFileName=sys.argv[1]
jiraFileName=dataFileName+".csv"
print "Load from JIRA -------------------"
##load from JIRA
url = "https://issues.apache.org/jira/sr/jira.issueviews:searchrequest-csv-all-fields/temp/SearchRequest.csv?jqlQuery=project+%3D+TRAFODION+AND+resolution+%3D+Unresolved+ORDER+BY+priority+DESC%2C+updated+DESC"
r = requests.get(url)
with open(jiraFileName, "w") as f:
    f.write(r.text)

3.遇到的问题总结

1)操作系统中最初用的是python2.6的环境，结果安装pip一直报错，先是报没有权限，这个只要用sudo可以解决；接下来是报一些语法错误,如下图：
2)系统编码问题，不设置sys.setdefaultencoding("utf-8")，python脚本就会暴出编码问题。

GPU云服务器云服务器 python如何使用如何使用python 如何安装使用python 如何使用python安装

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42319.html

如何用Python抓抖音上的小姐姐

摘要：比如分钟破译朋友圈测试小游戏文章里用的方法但有些根本就没有提供网页端，比如今年火得不行的抖音。所以常用的方式就是通过在电脑上装一些抓包软件，将手机上的网络请求全部显示出来。总结下，重点是的抓取，关键是配置代理证书，难点是对请求的分析。爬虫的案例我们已讲得太多。不过几乎都是网页爬虫。即使有些手机才能访问的网站，我们也可以通过 Chrome 开发者工具的手机模拟功能来访问，以便...

FingerLiu 2019-07-30 18:07 评论0 收藏0
编写爬虫的一些感想（就是高兴）

摘要：如果有人有兴趣的话，可以编写则个下面，我会说明在编写爬虫过程中的所思所想。文章读取完毕最后，还要再编写一个语句，判断是运行还是导入。文章结束前的一些话嗯，本文到这里就结束了。今天，根据网页的结构，尝试了下如何抓取煎蛋首页上的文章。目标很简单：根据首页上面的文章链接，载入文章，而后将文章的标题和正文（不带图片）抓取下来。抓取首页上面文章的链接，标题，作者和所属标签。按标题将文章...

inapt 2019-07-24 18:26 评论0 收藏0
一键下载：将知乎专栏导出成电子书

摘要：在知乎上，你一定关注了一些不错的专栏比如的编程教室。有需要的请在公众号里回复爬虫实战源码下载获取知乎专栏下载器源码，请在公众号的编程教室里回复关键字知乎除了代码外，本专栏打包好的也一并奉上，欢迎阅读与分享。老是有同学问，学了 Python 基础后不知道可以做点什么来提高。今天就再用个小例子，给大家讲讲，通过 Python 和爬虫，可以完成怎样的小工具。在知乎上，你一定关注了...

ivyzhang 2019-07-30 17:52 评论0 收藏0