一：前言
继续做Nmupy模块的学习笔记，这次是numpy的数据存取与常用的一些函数学习使用记录，这些函数都将为以后的数据操作打下基础。涉及到的有存取函数、强大随机函数、统计函数和梯度函数。目的：掌握表示、清洗、统计和展示数据的基础能力
二：CSV文件的存取
1. 逗号分隔值
Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号，其文件以纯文本形式存储表格数据（数字和文本）。
2. 保存CSV文件
** np.savetxt(frame, array, fmt='%.18e', delimiter=None)**
- frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
- array : 存入文件的数组
- fmt : 写入文件的格式，例如：%d %.2f %.18e
- delimiter : 分割字符串，默认是任何空格
a1 = np.arange(100).reshape(5, 20)
np.savetxt('a1.csv', a1, fmt = '%d', delimiter=',')
a2 = np.arange(100).reshape(5, 20)
np.savetxt('a2.csv', a2, fmt = '%.1f', delimiter=',')
3. 读取CSV文件
np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)
- frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
- dtype : 数据类型，可选
- delimiter : 分割字符串，默认是任何空格
- unpack : 如果True，读入属性将分别写入不同变量
b1 = np.loadtxt('a1.csv', delimiter=',')
print(b1)
b2 = np.loadtxt('a2.csv', dtype=np.int, delimiter=',')
print(b2)
4. CSV文件存取的局限性
CSV只能有效存储一维和二维数组
那么np.savetxt() np.loadtxt()只能有效存取一维和二维数组
三：多维数据的存取
1. 多维数据的保存
a.tofile(frame, sep='', format='%s')
- frame : 文件、字符串
- sep : 数据分割字符串，如果是空串，写入文件为二进制
- format : 写入数据的格式
如果是写入二进制则更节省硬盘空间，所以在以存储为目的即可使用这种方式；如果为了方便阅读则可以加入分割字符串以字符串的形式保存文件。
a = np.arange(100).reshape(5, 10, 2)
a.tofile('b.dat', sep=',', format='%d')
# 保存的数据是全部的数据，但是没有了维度信息
a.tofile('c.dat', format='%d')
# 没有分隔符，以二进制保存，使用文本编辑器打开是乱码的。
2. 多维数据的读取
np.fromfile(frame, dtype=float, count=‐1, sep='')
- frame : 文件、字符串
- dtype : 读取的数据类型
- count : 读入元素个数，‐1表示读入整个文件
- sep : 数据分割字符串，如果是空串，写入文件为二进制
a1 = np.fromfile('b.dat', dtype=np.int, sep=',').reshape(5, 10, 2)
print(a1)
a2 = np.fromfile('c.bat', dtype=np.int).reshape(5, 10, 2)
print(a2)
该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()和np.fromfile()需要配合使用
可以通过元数据文件来存储额外信息
四：Nmupy的便捷文件存取
np.save(fname, array) 或 np.savez(fname, array)
- fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
- array : 数组变量
np.load(fname)
- fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
a = np.arange(100).reshape(5, 10, 2)
np.save('a.npy', a)
b = np.load('a.npy')
print(b)
打开a文件就可以看到，这里保存着二进制的数据和维度的信息，存储和读取都十分方便。
五：Nmupy的随机函数
1. 随机函数①：
| 函数 | 说明 |
|---|---|
| rand(d0,d1,..,dn) | 根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布 |
| randn(d0,d1,..,dn) | 根据d0‐dn创建随机数数组，标准正态分布 |
| randint(low[,high,shape]) | 根据shape创建随机整数或整数数组，范围是[low, high) |
| seed(s) | 随机数种子，s是给定的种子值 |
a1 = np.random.rand(3, 4, 5)
print(a1)
a2 = np.random.randn(3, 4, 5)
print(a2)
a3 = np.random.randint(100, 200, (3, 4))
print(a3)
2. 随机函数②：
| 函数 | 说明 |
|---|---|
| shuffle(a) | 根据数组a的第1轴进行随排列，改变数组x |
| permutation(a) | 根据数组a的第1轴产生一个新的乱序数组，不改变数组x |
| choice(a[,size,replace,p]) | 从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可以重用元素，默认为False |
a1 = np.random.randint(100, 200, (3, 4))
print(a1)
np.random.shuffle(a1)
print(a1)
shuffle() 改变了原来的数组
b = np.random.randint(100, 200, (3, 4))
print(b)
np.random.permutation(b)
print(b)
permutation() 没有改变原来的数组
3. 随机函数③：
| 函数 | 说明 |
|---|---|
| uniform(low,high,size) | 产生具有均匀分布的数组,low起始值,high结束值,size形状 |
| normal(loc,scale,size) | 产生具有正态分布的数组,loc均值,scale标准差,size形状 |
| poisson(lam,size) | 产生具有泊松分布的数组,lam随机事件发生率,size形状 |
六： Numpy的统计函数
1. 统计函数①：
| 函数 | 说明 |
|---|---|
| sum(a, axis=None) | 根据给定轴axis计算数组a相关元素之和，axis整数或元组 |
| mean(a, axis=None) | 根据给定轴axis计算数组a相关元素的期望，axis整数或元组 |
| average(a,axis=None,weights=None) | 根据给定轴axis计算数组a相关元素的加权平均值 |
| std(a, axis=None) | 根据给定轴axis计算数组a相关元素的标准差 |
| var(a, axis=None) | 根据给定轴axis计算数组a相关元素的方差 |
axis=None 是统计函数的标配参数
2. 统计函数②：
| 函数 | 说明 |
|---|---|
| min(a) max(a) | 计算数组a中元素的最小值、最大值 |
| argmin(a) argmax(a) | 计算数组a中元素最小值、最大值的降一维后下标 |
| unravel_index(index, shape) | 根据shape将一维下标index转换成多维下标 |
| ptp(a) | 计算数组a中元素最大值与最小值的差 |
| median(a) | 计算数组a中元素的中位数（中值） |
七：梯度函数
| 函数 | 说明 |
|---|---|
| np.gradient(f) | 计算数组f中元素的梯度，当f为多维时，返回每个维度梯度 |
梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是： (c‐a)/2
八：单元小结
CSV文件
np.loadtxt()
np.savetxt()
多维数据存取
a.tofile() np.fromfile()
np.save() np.savez() np.load()
随机函数
np.random.rand() np.random.randn()
np.random.randint() np.random.seed()
np.random.shuffle() np.random.permutation()
np.random.choice()
NumPy的统计函数
np.sum() np.min()
np.mean() np.max()
np.average() np.argmin()
np.std() np.argmax()
np.var() np.unravel_index()
np.median() np.ptp()
NumPy的梯度函数
np.gradient()
