Pandas之旅（一): 让我们把基础知识一次撸完，申精干货

大家好，今天想和大家分享一下有关pandas的学习新的，我因工作需要，从去年12月开始接触这个非常好用的包，到现在为止也是算是熟悉了一些，因此发现了它的强大之处，特意想要和朋友们分享，特别是如果你每天和excel打交道，总是需要编写一些vba函数或者对行列进行groupby啊，merge，join啊之类的，相信我，pandas会让你解脱的。

好啦，闲话少说，这篇文章的基础是假设你已经大概听说过了pandas的一些概念和用途，如果还大体上不太清楚的朋友们，可以去百度一下相关基础介绍，本分主要分成四个部分：

从Dataframe说起 ： 简单了解Df这种数据结构，了解如何创建一个Df

Dataframe基础操作 ：基于行，列，index选取数据，新增数据，删除数据

Pandas 读取 / 导出数据： 了解如何对excel，csv，tsv等常见文件进行读取并导出

总结: 精华部分，为大家总结一些非常实用的一些方法,并附带源码 ipynb以及py文件提供下载

首先，让我们明确一点，pandas这个包是在numpy的基础上得到的，因此可能有的朋友会有疑问，要不要先学学numpy，我的个人建议是真的不太需要，因为大多数的情况下基本用不到，当然，如果你处理的是科学实验类型的数据的话，当我没说，我这里的应用场景主要是一般类型的常见数据，比如：

你是销售经理，经常需要汇总各地区的销售情况

你在银行工作，不可避免的需要和数字，excel打交道

你每天有很多重复的工作，比如备份，计算两表合并，分组，聚类等等。。。。。。

这种情况下，学习pandas会非常有用，这里我们说的数据都是二维的table，在pandas中也称作dataframe。
pandas中其实一共有三种类型的常见数据：

pandas主要包括三类数据结构，分别是：

Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。

DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。

Panel ：三维的数组，可以理解为DataFrame的容器。

Pandas官网，更多功能请参考 http://pandas-docs.github.io/...

这里我们主要聚焦在Dataframe上，一个dataframe长的基本上如下这番模样：

我们把这个简单的dataframe起个名字叫df，那么它包括的最基础的元素有：

index：每行的索引，默认是从0开始，比如上面的df[0] 就是指 John 15 78这一行，依次类推，当然我们可以自己规定index，我以后会说

columns：列。这里就是指的是Name Age Mark 了

rows：行，df一共有3行

现在让我们看一个完整的图示：

Dataframe 是应用最多也是最广泛的数据结构，现在就让我们开始学习创建一个dataframe吧~

创建一个Dataframe的方法有很多，总体上来说最常见的有及种：

创建空dataframe

利用dict创建

从其他数据源读取（网站，excel，mysql等）

真实场景中大多数都是从其他数据源读取，我们会在第3部分讲到

创建空dataframe

这个非常简单：

import pandas as pd 
  
# Calling DataFrame constructor 
df = pd.DataFrame() 
  
print(df)

Out:Empty DataFrame
    Columns: []
    Index: []

利用dict创建(1)

import pandas as pd
print (f" Using {pd.__name__},Version {pd.__version__}")

Out: Using pandas , version 0.23.4

首先要import pandas 包，这里缩写为pd，现在让我们从dict创建一个dataframe：

>>> dict = {"name":["Tom", "Bob", "Mary", "James"], 
        "age": [18, 30, 25, 40], 
        "city":["Beijing", "ShangHai","GuangZhou", "ShenZhen"]} 
  
>>> df = pd.DataFrame(dict) 
>>> df

创建结果如下：

很简单是不是，大家可能发现了，最左边的东西就是index ，0，1，2，3，如果我们不指定会自动生成从0默认开始的序列，一直到你的dataframe的最后一行，类似于excel左边的编号

利用dict创建(2)

这次让我们创建的更加规范一些：

index = pd.Index(["Tom", "Bob", "Mary", "James"],name = "person")
cols = ["age","city"]
data = [[18,"Beijing"],
        [30,"ShangHai"],
        [25,"GuangZhou"],
        [40,"ShenZhen"]]

df =pd.DataFrame(index = index,data =data,columns = cols)
df

这里的主要区别在于我们主动规定了‘name’列为索引。这种把一列默认为索引的方式在excel和sql里都有，异曲同工

从其他数据源读取（网站，excel，mysql等）

我会在第三部分介绍最常用的从excel，csv等读取数据

总体来说，有关创建Dataframe的部分我们不用了解太多，因为实际的场景基本不需要，都是直接从csv，tsv，sql，json等数据源直接获取。

这里我们主要看一下基于索引，行，列，行和列的基础操作，最后会为大家总结一下，现在拿刚刚我们创建过的dataframe为例：

添加新列

添加一列非常简单：

df["country"] = "USA"
df

df["adress"] = df["country"]
df

修改列中的值

修改一个列的值也是很容易的，我们可以这样做:

df["country"] = "China"
df

或者稍微多想一步：

df["adress"] = df["city"]+","+ df["country"]
df

删除列

我们可以应用del或者drop函数，如果是drop，要注意传参时要加上axis = 1.这里简单和大家说明一下axis，这个东西其实就是指轴向，默认的axis=0，是纵向，axis=1是横向

df.drop("country",axis=1)
df

del df["city"]
df

这里有一点大家需要注意：

drop和del的结果是基于df的两次多带带操作，并不是连续的

如果我们执行完drop后，重新查看df，这时你会发现df没有变化，因为没有真正的删除

要想真正删除，需要加上关键字 inplace = True

因此如果我们想要连续删除country和city这两列，改进后的代码如下：

df.drop("country",axis=1, inplace=True)
del df["city"]
df

选取列

这个非常简单，实现代码如下：

df["age"]  # 选取age这一列


    0    18
    1    30
    2    25
    3    40
    Name: age, dtype: int64

或者这样：

df.name

    0      Tom
    1      Bob
    2     Mary
    3    James
    Name: name, dtype: object

如果想要选取多个列也很容易，传递一个list就行啦：

df[["age","name"]]

这里注意，和选取多带带一列不同，这里我们返回的类型是dataframe，之前的类型是series，我们可以这么理解，一列其实还是一维数组，但是两列及以上是二维的了，当然类型也变了

如果我们想要查看当前的所有列：

df.columns

Out：Index([u"age", u"name", u"adress"], dtype="object")

如果我们想要重新对列进行命名，基本有三种方法，大家挑一种自己喜欢的就行

传递list

传递dict

传递 axis

用list：

df.columns = ["Age","Name","Adress"]
df

用dict：

df.rename(index = str, columns = {"age":"Age","name":"Name","adress":"Adress"})  #这里index=str 有没有都行，我这么做是为了规范
df

用axis：

df.rename(str.capitalize, axis="columns",inplace =True)
df

最后得到的效果是一样的：

根据条件给列赋值

我们现在想要根据人的年龄新增一列 Group，假设要求如下：

18岁以下的是年轻人

18-30的是中年人

30以上的是老年人

我们有很多方法可以实现，先看一种，大家可以先忽视loc方法，这里传达的就是基础思路：

df["Group"] = "elderly"
df.loc[df["Age"]<=18, "Group"] = "young"
df.loc[(df["Age"] >18) & (df["Age"] <= 30), "Group"] = "middle_aged"
df

loc函数 df.loc[row,column]

首先，大多数对于行的操作都可以通过loc函数实现，比如我们想要选取全部的行，除了直接打出df外，可以使用df.loc[:]

df.loc[:]

loc函数条件查询

df.loc[df["Age"]>20]

loc函数条件行列查询

df.loc[df["Group"]=="middle_aged","Name"]

1     Bob
2    Mary
Name: Name, dtype: object

Where 查询

filter_adult = df["Age"]>25
result = df.where(filter_adult)
result

Query 筛选

# df.query("Age==30") 
df.query("Group=="middle_aged""and "Age>30" )

这里有很多有用的方法，可以帮助到大家大致了解数据的情况：

df.shape   # 了解行列情况
Out：(4, 4)

df.describe()   # 获取可计算列基础统计

# df.head(3) #查看前三行数据，默认为5
df.tail(3)   #获得最后三行数据

Pandas 支持大部分常见数据文件读取与存储。一般清楚下，读取文件的方法以 pd.read_ 开头，而写入文件的方法以 pd.to_ 开头。这里我们开始熟悉一下最实用的对于csv文件的读取写入

写入CSV

df.to_csv("person.csv",index=None,sep=",")

import os
os.getcwd()
Out:  "C:UsersE560"

这样大家就可以在"C:UsersE560"的路径下找到我们刚刚生成的csv文件了，这里我把index=None，舍弃了索引值

读取CSV

首先我们确认和python文件同一目录下存在我们刚刚导出的person.csv文件，之后可以很容易的读取了：

person = pd.read_csv("person.csv")
person

这时我们发现，即使我们读取的csv文件没有索引，但是pandas已经默认帮我们加上了

好了，现在大家对pandas的使用已经有了基础的印象，我给大家简单总结一下常用的方法：

使用标签选取数据

df.loc[行标签,列标签]
df.loc["Tom":"Mary"] #选取 Tom至Mary的所有行的数据，Tom和Mary是index
df.loc[:,"city"] #选取 city 列的数据

df.loc 的第一个参数是行标签，第二个参数为列标签（可选参数，默认为所有列标签），两个参数既可以是列表也可以是单个字符，如果两个参数都为列表则返回的是 DataFrame，否则，则为 Series。

PS：loc为location的缩写。

使用位置（index）选取数据

df.iloc[行位置,列位置]    
df.iloc[1,1] #选取第二行，第二列的值，返回的为单个值    
df.iloc[[0,2],:] #选取第一行及第三行的数据    
df.iloc[0:2,:] #选取第一行到第三行（不包含）的数据   
df.iloc[:,1] #选取所有记录的第二列的值，返回的为一个Series   
df.iloc[1,:] #选取第一行数据，返回的为一个Series

PS：iloc 则为 integer & location 的缩写

通过逻辑指针进行数据切片

df[逻辑条件]

df[df.age >= 18] #单个逻辑条件

df[(df.age >=18 ) & (df.country=="China") ] #多个逻辑条件组合

了解并掌握数据大致情况

常见读取写入数据

好了，其实这些就是想要告诉大家如何学习pandas，没有必要了解每一个方法，但是现在想必你知道pandas能实现的功能很多，这样你有具体需求时只要详细查询一下文档即可，接下来几期我们会重点来看pandas里面对于df的各种操作，从简单的数据清理到类似于excel里面的vba，包括cancat，merge，join等等

下载

我把这一期的ipynb文件和py文件放到了GIthub上，大家如果想要下载可以点击下面的链接：

Github仓库地址： 点我下载

好啦，这一期就讲这么多，希望大家能够继续支持我，完结，撒花