python_pandas学习

codercao 发布于2019-07-30 16:10 / 2940人阅读

摘要：的名称来自于面板数据和数据分析。以下的内容主要以为主。终端输入导入相关模块是一种类似于一维数组的对象，它由一组数据各种数据类型以及一组与之相关的数据标签即索引组成。如果仅传入一个序列，则会重新索引行函数的参数参数说明用作索引的新序列。

原文链接

numPy pandas的数据结构介绍

简介

Pandas [1] 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。

数据结构

Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。

Time- Series：以时间为索引的Series。

DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。

Panel ：三维的数组，可以理解为DataFrame的容器。

终端输入

Jupyter Notebook

导入相关模块

import numpy as np
import pandas as pd 
from pandas import Series, DataFrame

Series

Series是一种类似于一维数组的对象，它由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成。

实质上是创建了一个 Series 对象，这也就说明了为什么会有index和values.

Series自定义索引

Series自定义索引的另一种方法

在这里就引入另一个概念“自动对齐”。自定义的索引会自动去寻找原来的索引，如果一样的，就取出原来索引对应的值。

在 Pandas 中，如果没有值，都对齐赋给 NaN。

当然上面的代码也可以写成这样

Series判断值是否为空

DataFrame

一个Datarame表示一个表格，类似电子表格的数据结构，包含一个经过排序的列表集，它们没一个都可以有不同的类型值（数字，字符串，布尔等等）。Datarame有行和列的索引；它可以被看作是一个Series的字典（每个Series共享一个索引）。

构建DataFrame最常用的方法——直接传入一个由等长列表或NumPy数组组成的字典

如果指定了列序列，则DataFrame的列就会按照指定的顺序进行排列

如果传入的列在数据中找不到，就会产生NAN值

通过行、列进行获取

通过类似字典标记的方式或属性的方式，可以将DataFream的列获取为一个Series:

同理行也可以通过位置或名称的方式进行获取

基本功能

重新索引

Series的reindex将会根据新索引进行,如果某个索引值当前不存在，就引入缺失值

reindex的method选项

ffill或pad 向前填充值

bfill或backfill 向后填充值

对于DataFrame，reindex可以修改行、列或者两个都可以修改。如果仅传入一个序列，则会重新索引行

reindex函数的参数

参数	说明
index	用作索引的新序列。既可以是index实例，也可以是其他序列型python数据结构
method	插值方式
fill_value	在重新索引过程中，需要引入缺失值时使用的代替值
limit	前向或后向填充时的最大填充量
level	在Multilndex的指定级别上匹配简单索引，否则选取其子集
copy	默认为true,无论如何都复制；如果为false，则新旧相等就不复制

索引、选取和过滤

类型	说明
obj[val]	选取DataFrame的单个列或一组列。在一些特殊的情况下会比较便利：布尔型数组（过滤行）
obj.ix[val]	选取DataFrame的单个行或一组行
obj.ix[:,val]	选取单个列或列子集
obj.ix[val1,val2]	同时选取行和列
reindex方法	将一个或多个轴匹配到新索引
xs方法	根据标签选取单行或单列，并返回一个Series
icol、irow方法	根据整数位置选取单行或单列，并返回一个Series
get_value、set_value方法	根据行标签或列标签选取单个值

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41528.html

ApacheCN 人工智能知识树 v1.0

摘要：贡献者飞龙版本最近总是有人问我，把这些资料看完一遍要用多长时间，如果你一本书一本书看的话，的确要用很长时间。为了方便大家，我就把每本书的章节拆开，再按照知识点合并，手动整理了这个知识树。 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=200); 贡献者：飞龙版...

刘厚水 2019-06-26 19:00 评论0 收藏0
深度学习不是AI的未来

摘要：不过，深度学习并不是人类可以创造的完美人工智能科技的终点。深度学习的公正性并非来自其自身，而是人类筛选和准备的深度学习数据。深度学习给出的是非自然合法语言解释的结果。现在每一个人都正在学习，或者正打算学习深度学习，它是目前人工智能诸多流派中兴起的一个。各个年龄阶段的数十万人都在学习着免费和收费的深度学习课程。太多的创业公司和产品的命名以深度开头，深度学习已然成了一个流行语，但其真正的落地应...

用户83 2019-04-25 18:19 评论0 收藏0
深度学习：远非人工智能的全部和未来

摘要：绝大多数人忽略了深度学习只占机器学习领域的，而机器学习又只占到了人工智能领域的。一个深度学习专家无法与人工智能专家划上等号。但是，深度学习并不是人类可以创造的人工智能科技的终点。深度学习的公正性并非来自其自身，而是人类筛选和准备的数据。人工智能的这一波热潮毫无疑问是由深度学习引发的，自吴恩达等人 2011 年发表「识别猫」研究后，深度学习及其引发的技术已经在图像识别、游戏等任务中超越人类，...

hedzr 2019-04-25 18:17 评论0 收藏0
普通程序员，如何转行人工智能？

摘要：普通程序员，如何转向人工智能方向，是知乎上的一个问题。领域简介，也就是人工智能，并不仅仅包括机器学习。但是，人工智能并不等同于机器学习，这点在进入这个领域时一定要认识清楚。人工智能已经成为越来越火的一个方向。普通程序员，如何转向人工智能方向，是知乎上的一个问题。本文是对此问题的一个回答的归档版。相比原回答有所内容增加。目的本文的目的是给出一个简单的，平滑的，易于实现的学习方法，帮...

mingde 2019-06-26 18:14 评论0 收藏0