
天下代码一大抄, 抄来抄去有提高, 看你会抄不会抄!
欢迎来到我们的全新系列文章——Pandas数据分析系列!在这个系列中,我们将带您深入了解Pandas这个强大的Python库,探索其在数据分析领域的广泛应用和令人惊叹的功能。
无论您是一名初学者还是已经有一定数据分析经验的专业人士,本系列都将为您提供宝贵的知识和技巧。我们将逐步引导您了解Pandas的核心概念、基本操作和高级功能,帮助您快速掌握处理、清洗和分析大规模数据集的能力。
本系列文章还是引用之前的理念,阅读文章,你不需要记,只要知道这一篇在讲什么即可,收藏起来,用的时候过来抄代码。
第一篇:Pandas入门指南:掌握Python数据处理利器 【当前篇】
第二篇:数据探索与清洗:使用Pandas轻松预处理数据
第三篇:深入了解Pandas数据结构:Series与DataFrame
第四篇:数据选择与过滤:Pandas中的强大索引技巧
第五篇:数据操作与转换:学会利用Pandas处理复杂任务
一、本章重点
1. 基础知识
- Pandas是什么
- 学会Pandas能做什么事情
- 哪些人适合学习Pandas
2. Pandas中数据结构
- Series 一维数组类型
- DataFrame 二维数组类型
3. 入门操作之数据读取
- 读取Excel数据
- 读取CSV数据
- 预览数据
- 数据过滤
- 数据排序
- 缺失值处理
二、基础知识
2.1 Pandas是什么

`Pandas` 是 `Python` 中一只非常可爱的黑白熊猫,不,等等,抱歉,我搞错了!实际上,Pandas是一种用于数据处理和分析的强大Python库,而不是一个毛茸茸的动物。
想象一下,你面对着一大堆杂乱无章的数据,就像你家里那堆堆乱七八糟的袜子一样。你不知道从哪里开始整理,但又迫切需要找到其中的宝藏。这时候,Pandas就是你的超级整理大师!
Pandas像是一只巧妙而灵活的熊猫,它能够迅速抓取、转换和整理你的数据,让它们变得井井有条,就像是袜子被整齐地折叠放入抽屉一样。不仅如此,它还能帮助你轻松地过滤、排序和聚合数据。
Pandas会用简单直观的语法和操作让你愉快地与数据互动,就像是在跟一只可爱的小熊猫玩耍一样。当你与Pandas结伴而行时,你将发现数据处理和分析变得轻松有趣。
所以一句话: Pandas是Python领域中一个非常重要的数据处理的库。

2.2 学会Pandas能做什么事情
当然是处理数据了,这么说可能还是不直观。来吧下面举一个例子。
我有两个表格。

通过panda进行关联,很容易就生成下面表格。

下面看代码实现。
import pandas as pd
# A表格数据
a_data = {
'姓名': ['孙悟空', '猪八戒', '沙悟净', '唐僧'],
'名称': ['齐天大圣', '天蓬元帅', '沙和尚', '唐三藏']
}
# B表格数据
b_data = {
'姓名': ['孙悟空', '猪八戒', '沙悟净', '唐僧'],
'职称': ['大师兄', '二师兄', '三师弟', '师傅']
}
# 生成A表格的DataFrame
df_a = pd.DataFrame(a_data)
# 生成B表格的DataFrame
df_b = pd.DataFrame(b_data)
# 打印输出A表格的DataFrame
print("A表格的DataFrame:")
print(df_a)
# 打印输出B表格的DataFrame
print("\nB表格的DataFrame:")
print(df_b)
# 将A表格和B表格按照姓名进行合并
df_c = pd.merge(df_a, df_b, on='姓名')
# 打印输出C表格的DataFrame
print("C表格的DataFrame:")
print(df_c)
# C表格的DataFrame:
# 姓名 名称 职称
# 0 孙悟空 齐天大圣 大师兄
# 1 猪八戒 天蓬元帅 二师兄
# 2 沙悟净 沙和尚 三师弟
# 3 唐僧 唐三藏 师傅
这里我们只用了2个方法。
- pd.DataFrame(b_data) 生成数据
- pd.merge(df_a, df_b, on='姓名') 合并数据
这是小试牛刀,他能做的远远超过于此。数据的聚合,平均值等等操作都在后面呢。
2.3 那些人适合学习Pandas
1. 如果你的身份是大学生,闲暇时间可以学习一下,不用太精通,只要知道就行,就好比看这篇文章,你不用记住这么多的代码,只要在哪里,知道怎么用即可!
2. 业务分析师, 业务数据会汇总成各种Excel表格, 最终你需要对其进行分析,当然Excel也可以完成这项工作,但是如果你用Pandas你会发现事半功倍。一次编程, 反复使用,非常Nice。
3. 数据科学家,那就不用看了,数据科学家不需要看文章学习。无师自通。
总结: 经常需要进行数据分析,或者是操作Excel工作的人群,建议学习。
三、Pandas中数据类型
对于有编程经验的人看这里:
- Series 就是一个列表,就是一个数组,他是一个一维度的数据类型。
- DataFrame 就是一个Map,字典,他是一个多维的数据类型。
对于有视频处理经验的人看这里:
- Series 就像一个图片,是静态的,只能反映当前的图像
- DataFrame 就像一个视频,有时间轴,能反应每一秒的图像
对于没有任何经验的看这里:
假设你是一个冰淇淋店的老板,你想要记录每天的销售数据。Series和DataFrame就像是你的销售记录本。
- Series可以看作是一天中某个具体时刻的销售数据。比如,你可以创建一个"下午2点"的Series,其中包含不同口味冰淇淋的销售数量。这就像是你在销售记录本上记录了某个具体时刻的销售情况。
香草 巧克力 草莓
下午2点 7 6 3
- DataFrame则是一整天的销售记录。它是一个包含多个Series的表格,每个Series代表一种销售数据。比如,你可以创建一个销售记录的DataFrame,其中每一列代表一种口味的冰淇淋,而每一行代表不同的时间点。

3.1 Series 类型

3.2 DataFrame 类型

四、入门操作之数据读取
4.1 Excel文件读取
前面学习了DataFrame类型, Excel就是一个这样的类型。看下面的文件。

我这里有一个表格,是从第二行开始,然后从B列到C列。下面我们怎么读取这个表格,然后生成一个
DataFrame对象呢。

4.2 CSV文件读取
CSV更是处理简单,首先我们先将刚才的excel转换成csv文件。

4.3 预览数据
有后端服务开发经验的同学会很容易上手,两个熟悉的命令,映入眼帘。
- head
- tail
可以指定要查看的数量,如果不指定默认看头5行,或者尾5行。

4.4 数据过滤
我们给唐僧师徒增加上年龄属性,然后获取年龄小于100岁的人。

4.5 数据排序
我们给唐僧师徒增加上年龄属性,然后按照年龄从小到大排序。

4.6 缺失值处理
如下我们将沙僧的年龄从2000改成NaN就是缺失值。在Excel中就是没填任何值的意思。
然后再生成DataFrame时候,指定如果缺失就填充-1

五、总结
1. 本篇我们要了解一个重点,就是Pandas不仅可以处理一维数组,更可以处理二维数组。比如Excel和CSV都是二维数据。
2. 我们知道如何使用Pandas去文件数据,并也知道如何创建一个数据。
本节在读取Excel文件时候还留了一个小心机,不是从第一行第一列数据的,而是从中间处理的。
可以看到pandas都能灵活的通过参数配置去完成我们的任务。篇幅有限,实际上还有很多的小技巧。
- 比如说excel中数据没有列名, 而Pandas默认第一行都是列名,这种情况怎么处理呢?本期内容就这么简单,因为是入门嘛, 后面我们还要学习各种函数,还有数学计算呢。
- 比如数据聚合与统计:使用DataFrame.groupby()可以按照指定的列进行分组,然后应用聚合函数,如求和、均值、计数等,此外,Pandas还提供了许多内置的统计函数,如mean()、sum()、max()等。
更多小技巧我们后面学习,感兴趣的同学点个关注。

在本系列文章中,我们会从实战出发,深入探讨了Pandas数据分析库的众多功能和强大之处。掌握使用Pandas进行数据处理、清洗和分析的基本技巧。全系列课程均是免费。你的关注是我继续的动力。