一:前言
学了中国大学mooc的Python数据分析与展示课程感觉挺不错的,记录下来以后学习也方便多了。
NumPy是一个开源的Python科学计算基础库,包含:
- 1、一个强大的N维数组对象Array;
- 2、比较成熟的(广播)函数库;
- 3、用于整合C/C++和Fortran代码的工具包;
- 4、实用的线性代数、傅里叶变换和随机数生成函数。
NumPy是SciPy、Pandas等数据处理或科学计算库的基础
二:数据的维度
1. 从一个数据到一组数据
3.14 一个数据,表达一个含义
3.141, 3.14, 3.1404 一组数据表达一个或多个含义
2. 维度:一组数据的组织形式
2.1 一维数据:由对等关系的有序或无序数据构成,采用线性方式组织
3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376
对应列表、数组和集合等概念
列表和数组:一组数据的有序结构
- 列表:数据类型可以不同
- 数组:数据类型相同
2.2 二维数据:由多个一维数据构成,是一维数据的组合形式,表格是典型的二维数据 其中,表头是二维数据的一部分
2.3 多维数据:由一维或二维数据在新维度上扩展形成
2.4 高维数据:仅利用最基本的二元关系展示数据间的复杂结构
2.5 数据维度的Python表示:数据维度是数据的组织形式
2.5.1 一维数据:列表和集合类型
[3.1398, 3.1349, 3.1376] 有序
{3.1398, 3.1349, 3.1376} 无序
2.5.2 二维数据:列表类型
[ [3.1398, 3.1349, 3.1376],
[3.1413, 3.1404, 3.1401] ]
2.5.3 多维数据:列表类型
2.5.4 高维数据:字典类型 或 数据表示格式JSON、XML和YAML格式
三:NumPy的数组对象:ndarray
3.1 NumPy的引用
import numpy as np
np是引入模块的别名
尽管别名可以省略或更改,建议使用上述约定的别名
3.2 N维数组对象:ndarray
Python已有列表类型,为什么需要一个数组对象(类型)?
- 数组对象可以去掉元素间运算所需的循环,使一维向量更像单个数据
- 设置专门的数组对象,经过优化,可以提升这类应用的运算速度
- 观察:科学计算中,一个维度所有数据的类型往往相同
- 数组对象采用相同的数据类型,有助于节省运算和存储空间
ndarray是一个多维数组对象,由两部分构成:
• 实际的数据
• 描述这些数据的元数据(数据维度、数据类型等)
ndarray数组一般要求所有元素类型相同(同质),数组下标从0开始
3.3 ndarray对象的属性
属性 | 说明 |
---|---|
.ndim | 秩,即轴的数量或维度的数量 |
.shape | ndarray对象的尺度,对于矩阵,n行m列 |
.size | ndarray对象元素的个数,相当于.shape中n*m的值 |
.dtype | ndarray对象的元素类型 |
.itemsize | ndarray对象中每个元素的大小,以字节为单位 |
3.4 ndarray实例
四:ndarray数组的元素类型
** 4.1 ndarray的元素类型(1)**
数据类型 | 说明 |
---|---|
bool | 布尔类型,True或False |
bar | bar |
intc | 与C语言中的int类型一致,一般是int32或int64 |
intp | 用于索引的整数,与C语言中ssize_t一致,int32或int64 |
int8 | 字节长度的整数,取值:[‐128, 127] |
int16 | 16位长度的整数,取值:[‐32768, 32767] |
int32 | 32位长度的整数,取值:[‐231, 231‐1] |
int64 | 64位长度的整数,取值:[‐263, 263‐1] |
** 4.2 ndarray的元素类型(2)**
数据类型 | 说明 |
---|---|
uint8 | 8位无符号整数,取值:[0, 255] |
uint16 | 16位无符号整数,取值:[0, 65535] |
uint32 | 32位无符号整数,取值:[0, 232‐1] |
uint64 | 64位无符号整数,取值:[0, 264‐1] |
float16 | 16位半精度浮点数:1位符号位,5位指数,10位尾数 |
float32 | 32位半精度浮点数:1位符号位,8位指数,23位尾数 |
float64 | 64位半精度浮点数:1位符号位,11位指数,52位尾数 |
** 4.3 ndarray的元素类型(3)**
数据类型 | 说明 |
---|---|
complex64 | 复数类型,实部和虚部都是32位浮点数 |
complex128 | 复数类型,实部和虚部都是64位浮点数 |
i实部(.real) + j虚部(.imag)
** 4.4 ndarray的元素类型**
对比:Python语法仅支持整数、浮点数和复数3种类型
ndarray为什么要支持这么多种元素类型?
- 科学计算涉及数据较多,对存储和性能都有较高要求
- 对元素类型精细定义,有助于NumPy合理使用存储空间并优化性能
- 对元素类型精细定义,有助于程序员对程序规模有合理评估
** 4.5 非同质的ndarray对象**
五:ndarray数组的创建
** 5.1 方法有五种:**
• 从Python中的列表、元组等类型创建ndarray数组
• 使用NumPy中函数创建ndarray数组,如:arange, ones, zeros等
• 从字节流(raw bytes)中创建ndarray数组 • 从文件中读取特定格式,创建ndarray数组
** 5.2 从Python中的列表、元组等类型创建ndarray数组**
x = np.array(list/tuple)
x = np.array(list/tuple, dtype=np.float32)
当np.array()不指定dtype时,NumPy将根据数据情况关联一个dtype类型
5.2.1 从列表类型创建
x = np.arry([1, 3, 5, 6, 8])
5.2.2 从元组类型创建
x = np.arry((4, 6, 8, 9))
5.2.3 从列表和元组混合类型创建
x = np.arry([ [1, 2], [9, 8], (1, 5)])
** 5.3 使用NumPy中函数创建ndarray数组,如:arange, ones, zeros等**
函数 | 说明 |
---|---|
np.arange(n) | 类似range()函数,返回ndarray类型,元素从0到n‐1 |
np.ones(shape) | 根据shape生成一个全1数组,shape是元组类型 |
np.zeros(shape) | 根据shape生成一个全0数组,shape是元组类型 |
np.full(shape,val) | 根据shape生成一个数组,每个元素值都是val |
np.eye(n) | 创建一个正方的n*n单位矩阵,对角线为1,其余为0 |
np.ones_like(a) | 根据数组a的形状生成一个全1数组 |
np.zeros_like(a) | 根据数组a的形状生成一个全0数组 |
np.full_like(a,val) | 根据数组a的形状生成一个数组,每个元素值都是val |
** 5.4 使用NumPy中其他函数创建ndarray数组**
函数 | 说明 |
---|---|
np.linspace() | 根据起止数据等间距地填充数据,形成数组 |
np.concatenate() | 将两个或多个数组合并成一个新的数组 |
六:ndarray数组的变换
对于创建后的ndarray数组,可以对其进行维度变换和元素类型变换
** 6.1 ndarray数组的维度变换**
方法 | 说明 |
---|---|
.reshape(shape) | 不改变数组元素,返回一个shape形状的数组,原数组不变 |
.resize(shape) | 与.reshape()功能一样,但修改原数组 |
.swapaxes(ax1,ax2) | 将数组n个维度中两个维度进行调换 |
.flatten() | 对数组进行降维,返回折叠后的一维数组,原数组不变 |
a = np.ones((2,3,4), dtype=np.int32)
a.reshape((3, 8))
a.resize((3, 8))
a.flatten() # 第一次降维
a.flatten() # 第二次降维
** 6.2 ndarray数组的类型变换**
new_a = a.astype(new_type)
a = np.ones((2,3,4), dtype=np.int)
b = a.astype(np.float)
astype()方法一定会创建新的数组(原始数据的一个拷贝),即使两个类型一致
6.3 ndarray数组向列表的转换
a = np.full((2,3,4), 25, dtype=np.int32)
ls = a.tolist()
6.4 ndarray数组的操作
6.4.1 数组的索引和切片
索引:获取数组中特定位置元素的过程
切片:获取数组元素子集的过程
一维数组的索引和切片:与Python的列表类似
a = arrry([9, 4, 3, 8, 5, 1])
print(a[2])
print(a[ 1 : 4 : 2 ]) # 起始到结束位置,最后一个是步长
多维数组的索引:
a = np.arange(24).reshape((2,3,4))
print(a[1,2,3])
print(a[0,1,2])
print(-1,-2,-3])
多维数组的切片:
a = np.arange(24).reshape((2,3,4))
print(a[:, 1, 3]) # 选取一个维度使用 :
print(a[:, 1:3, :]) # 每个维度切片与一维一样
print(:, :, ::2]) # 每个维度可以使用步长跳跃切片
七:ndarray数组的运算
7.1 数组与标量之间的运算
数组与标量之间的运算作用于数组的每一个元素
a = np.arange(24).reshape((2,3,4))
print(a.mean()) # 计算a平均值
7.2 NumPy一元函数
对ndarray中的数据执行元素级运算的函数
函数 | 说明 |
---|---|
np.abs(x) np.fabs(x) | 计算数组各元素的绝对值 |
np.sqrt(x) | 计算数组各元素的平方根 |
np.square(x) | 计算数组各元素的平方 |
np.log(x) np.log10(x) np.log2(x) | 计算数组各元素的自然对数、10底对数和2底对数 |
np.ceil(x) np.floor(x) | 计算数组各元素的ceiling值 或 floor值 |
np.rint(x) | 计算数组各元素的四舍五入值 |
np.modf(x) | 将数组各元素的小数和整数部分以两个独立数组形式返回 |
np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x) | 计算数组各元素的普通型和双曲型三角函数 |
np.exp(x) | 计算数组各元素的指数值 |
np.sign(x) | 计算数组各元素的符号值,1(+), 0, ‐1(‐) |
7.2.1NumPy一元函数实例
7.3 NumPy二元函数
函数 | 说明 |
---|---|
+ ‐ * / ** | 两个数组各元素进行对应运算 |
np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin() | 元素级的最大值/最小值计算 |
np.mod(x,y) | 元素级的模运算 |
np.copysign(x,y) | 将数组y中各元素值的符号赋值给数组x对应元素 |
> < >= <= == != | 算术比较,产生布尔型数组 |
7.3.1 NumPy二元函数实例
八:单元小结
- 数据的维度:一维、多维、高维
- ndarray类型属性、创建和变换
- 数组的索引 和切片
- .ndim .reshape(shape)
.shape .resize(shape)
.size .swapaxes(ax1,ax2)
.dtype .flatten() .itemsize - np.arange(n)
np.ones(shape)
np.zeros(shape)
np.full(shape,val)
np.eye(n)
np.ones_like(a)
np.zeros_like(a)
np.full_like(a,val) - 数组的运算:一元函数和二元函数