使用pandas玩kaggle数据(一)

tinylcy 发布于2019-07-24 18:26 / 720人阅读

摘要：最近在学习用处理数据，的易用性真的让人很爽，想找点数据玩一下，同事说上的数据很多，值得玩耍。初步分析排除数值列，对字符串列进行分析，可以知道数据值类型数量最多类型。如果想更精细的控制图的显示，建议直接使用，当然的函数最终也是直接调用。

最近在学习用pandas处理数据，pandas的易用性真的让人很爽，想找点数据玩一下，同事说kaggle上的数据很多，值得玩耍。

数据

我处理的数据是从kaggle数据分析竞赛网站下载的旧金山的分类犯罪数据－点此下载。
如下图所示，数据共有九列，X、Y是GPS坐标，其它都是字符串，没法用describe直接看概要。

初步分析

排除数值列，对字符串列进行descirbe分析，可以知道数据值类型、数量最多类型。

       PdDistrict       Category DayOfWeek Resolution
count      878049         878049    878049     878049
unique         10             39         7         17
top      SOUTHERN  LARCENY/THEFT    Friday       NONE
freq       157182         174900    133734     526790

其后逐列按类型查看类型对应数量。
如按警区查看 print(df["PdDistrict"].value_counts())

SOUTHERN      157182
MISSION       119908
NORTHERN      105296
BAYVIEW        89431
CENTRAL        85460
TENDERLOIN     81809
INGLESIDE      78845
TARAVAL        65596
PARK           49313
RICHMOND       45209
Name: PdDistrict, dtype: int64

可视化

很多人对数字并不敏感，有图会提高对数据对理解。pandas自带的plot函数可以快速的将dataframe图形化。
默认是线状走势图，下面是按类型对警情进行分析。

不够直观，并且横坐标有重复，使用直方图形式，以横向的方式将类型显示完全。在控制坐标旋转的时候，我发现这个plot函数有不少bug，控制起来也很不方便。如果想更精细的控制图的显示，建议直接使用matplotlib，当然dataframe的plot函数最终也是直接调用matplotlib。

category.plot(figsize=(26, 10), title=u"犯罪类型统计", rot=0, kind="barh", legend=True)

由于我是用pycharm来玩的，所以如果我不加plt.show，plot显示不出来。所以我最终还是得导入matplotlib。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37751.html

使用pandas玩kaggle数据(二)

摘要：按类型去分析数据并没有得到规律性的东西。我们再来看看元数据。按年月日格式化时间，按进行分类，我们得到每日发生的案件统计走势图。按警区划分案件，然后统计每个警区的案件走势。如类型但案件时逐年降低的。还是有点懒，本应早点写第二集。按类型去分析数据并没有得到规律性的东西。我们再来看看元数据。Dates是案件发生的时间，案件是否具有时间规律，随着时间在增长或者减少呢？showImg(http...

Chiclaim 2019-07-24 18:28 评论0 收藏0
Kaggle案例——用python从进网站到获得评测结果

摘要：训练集是用来训练你的机器学习模型的。但机器学习，你也要教它一些事实，比如长得像图片的就是狗，长得像图片的就是猫。好了，这样我们整体的一个机器学习的简单项目就完成，但我们还是要看一下效果。最近写了Kaggle的一个playground项目——预测科比投篮是否命中https://www.kaggle.com/c/kobe...，主要使用python的pandas和sklearn包。这里...

Crazy_Coder 2019-07-30 16:52 评论0 收藏0
8步从Python白板到专家，从基础到深度学习

摘要：去吧，参加一个在上正在举办的实时比赛吧试试你所学到的全部知识微软雅黑深度学习终于看到这个，兴奋吧现在，你已经学到了绝大多数关于机器学习的技术，是时候试试深度学习了。微软雅黑对于深度学习，我也是个新手，就请把这些建议当作参考吧。如果你想做一个数据科学家，或者作为一个数据科学家你想扩展自己的工具和知识库，那么，你来对地方了。这篇文章的目的，是给刚开始使用Python进行数据分析的人，指明一条全...

Zachary 2019-04-25 18:00 评论0 收藏0
人工智障也刷题！Kaggle 入门之实战泰坦尼克号

showImg(https://segmentfault.com/img/bVbkB4E?w=800&h=400); 背景关于 Kaggle https://www.kaggle.com/ 这是一个为你提供完美数据，为你提供实际应用场景，可以与小伙伴在数据挖掘领域 high 的不要不要的的地方啊！！！ Kaggle 是一个用来学习、分享和竞赛的线上数据实验平台，有点类似 KDD—CUP（国际...

bergwhite 2019-06-26 18:38 评论0 收藏0