资讯专栏INFORMATION COLUMN

8个Python高效数据分析的技巧

FullStackDeveloper / 2623人阅读

摘要:以指定数目均匀分割区间。所以给定区间和,以及等分分割点数目,将返回一个数组。将一个函数应用于指定轴上的每一个元素。如果您熟悉,那么你也许听说过数据透视表。内置的函数以的形式创建电子表格样式的数据透视表,它可以帮助我们快速查看某几列的数据。

一行代码定义List

下面是使用For循环创建列表和用一行代码创建列表的对比。

x = [1,2,3,4]
out = []
for item in x:
    out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]
Lambda表达式

厌倦了定义用不了几次的函数? Lambda表达式是你的救星! Lambda表达式用于在Python中创建小型,一次性和匿名函数对象。 它能替你创建一个函数。

lambda表达式的基本语法是:

lambda arguments: expression

请注意,只要有一个lambda表达式,就可以完成常规函数可以执行的任何操作。 你可以从下面的例子中,感受lambda表达式的强大功能:

double = lambda x: x * 2
print(double(5))
10
Map和Filter

一旦掌握了lambda表达式,学习将它们与Map和Filter函数配合使用,可以实现更为强大的功能。

具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。 在本例中,它遍历每个元素并乘以2,构成新列表。 请注意,list()函数只是将输出转换为列表类型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函数接受一个列表和一条规则,就像map一样,但它通过比较每个元素和布尔过滤规则来返回原始列表的一个子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]
Arange和Linspace

Arange返回给定步长的等差列表。 它的三个参数start、stop、step分别表示起始值,结束值和步长, 请注意,stop点是一个“截止”值,因此它不会包含在数组输出中。

# np.arange(start, stop, step)
np.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定数目均匀分割区间。 所以给定区间start和end,以及等分分割点数目num,linspace将返回一个NumPy数组。 这对绘图时数据可视化和声明坐标轴特别有用。

# np.linspace(start, stop, num)
np.linspace(2.0, 3.0, num=5)
array([ 2.0,  2.25,  2.5,  2.75, 3.0])
Axis代表什么?

在Pandas中,删除一列或在NumPy矩阵中求和值时,可能会遇到Axis。 我们用删除一列(行)的例子:

df.drop("Column A", axis=1)
df.drop("Row A", axis=0)

如果你想处理列,将Axis设置为1,如果你想要处理行,将其设置为0。 但为什么呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

从Pandas DataFrame中调用shape属性返回一个元组,第一个值代表行数,第二个值代表列数。如果你想在Python中对其进行索引,则行数下标为0,列数下标为1,这很像我们如何声明轴值。

Concat,Merge和Join

如果您熟悉SQL,那么这些概念对您来说可能会更容易。 无论如何,这些函数本质上就是以特定方式组合DataFrame的方式。 在哪个时间跟踪哪一个最适合使用可能很困难,所以让我们回顾一下。

Concat允许用户在表格下面或旁边追加一个或多个DataFrame(取决于您如何定义轴)。

Merge将多个DataFrame合并指定主键(Key)相同的行。

Join,和Merge一样,合并了两个DataFrame。 但它不按某个指定的主键合并,而是根据相同的列名或行名合并。

Pandas Apply

Apply是为Pandas Series而设计的。如果你不太熟悉Series,可以将它想成类似Numpy的数组。
Apply将一个函数应用于指定轴上的每一个元素。 使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!

df = pd.DataFrame([[4, 9],] * 3, columns=["A", "B"])
 df
   A  B
0  4  9
1  4  9
2  4  9

df.apply(np.sqrt)
     A    B
0  2.0  3.0
1  2.0  3.0
2  2.0  3.0

 df.apply(np.sum, axis=0)
A    12
B    27

df.apply(np.sum, axis=1)
0    13
1    13
2    13
Pivot Tables

最后是Pivot Tables。 如果您熟悉Microsoft Excel,那么你也许听说过数据透视表。 Pandas内置的pivot_table函数以DataFrame的形式创建电子表格样式的数据透视表,,它可以帮助我们快速查看某几列的数据。 下面是几个例子:非常智能地将数据按照“Manager”分了组

pd.pivot_table(df, index=["Manager", "Rep"])


或者也可以筛选属性值

pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/42177.html

相关文章

  • 6Python性能优化技巧

    摘要:的批评者声称性能低效执行缓慢,但实际上并非如此尝试以下个小技巧,可以加快应用程序。使用或者机器语言扩展包来执行关键任务能极大改善性能。但是如果你把求值的结果放入一个变量中,就能提高程序的性能。 Python是一门非常酷的语言,因为很少的Python代码可以在短时间内做很多事情,并且,Python很容易就能支持多任务和多重处理。 Python的批评者声称Python性能低效、执行缓慢,...

    RobinQu 评论0 收藏0
  • 13VSCode使用技巧,开启高效开发模式

    摘要:本文分享自华为云社区使用技巧使用技巧,作者小聪不是小葱。是一款开源的编辑器,拥有强大的功能,。由于拥有各种各样的插件,这就使得可以做到的事情更多了。在使用的过程中,也是有很多技巧的,掌握一些技巧对于后期写代码也会轻松很多。 摘要:VsCode是一款开源的编辑器,拥有强大的功能,。由于拥有各...

    PumpkinDylan 评论0 收藏0
  • 提高 Python 运行效率窍门

    摘要:使用或机器语言的外部功能包处理时间敏感任务,可以有效提高应用的运行效率。关键在于,优化循环方案是提高应用程序运行速度的上佳选择。此外,关于交叉编译是否为提高运行效率的最佳方法还存在讨论的空间。在使用交叉编译器时,记得确保它支持你所用的版本。 Python 是一门优秀的语言,它能让你在短时间内通过极少量代码就能完成许多操作。不仅如此,它还轻松支持多任务处理,比如多进程。 不喜欢 Pyt...

    huhud 评论0 收藏0
  • 由 sort 中 key 用法浅谈 python

    摘要:但是实际写程序中,我们经常会写出许多繁杂的丑陋的代码。特别推荐,许多代码让我获益匪浅,比如这里对的使用。用可以写出很简单直观的代码,如下当然,上面不考虑效率,这里有一个利用分治法思想的高效的方法。更多文章更多阅读中参数的用法高级编程技巧 用 Python 时间也算不短了,但总感觉自己在用写 C++ 代码的思维写 Python,没有真正用到其作为脚本语言的优势。之前刷 LeetCode ...

    keke 评论0 收藏0
  • 【译】Python优雅技巧

    摘要:你可以进行如下操作需要注意的是这个窍门只适用于。在中就不需要进行操作了,因为它已经默认进行了。这里有几个例子可以供你参考译文出处本文根据的所译,整个译文带有我自己的理解与思想,如果译得不好或有不对之处还请同行朋友指点。 枚举 不要这么做: i = 0 for item in iterable: print i, item i += 1 而是这样: for...

    legendaryedu 评论0 收藏0

发表评论

0条评论

FullStackDeveloper

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<