What is pytorch?
本篇文章是本人对Pytorch官方教程的原创翻译(原文链接)仅供学习交流使用，转载请注明出处！
Pytorch是一个基于Python的科学计算包，它有两大特性：
- 是numpy的替代品，更能发挥出机器的性能
- 灵活、易扩展、高效
Tensor
tensor是pytorch最核心的数据结构，它和numpy的ndarray非常相似，但tesnor更能发挥GPU的性能。
from __future__ import print_function
import torch
# 创建一个空矩阵
x = torch.empty(5, 3)
print(x)
tensor([[8.9082e-39, 1.0194e-38, 9.1837e-39],
[4.6837e-39, 9.2755e-39, 1.0837e-38],
[8.4490e-39, 1.1112e-38, 1.0194e-38],
[9.0919e-39, 8.4490e-39, 9.6429e-39],
[8.4490e-39, 9.6429e-39, 9.2755e-39]])
注意，虽然
x是空矩阵，实际上也会赋以初值
# 创建一个随机矩阵
x = torch.rand(5, 3)
print(x)
tensor([[0.9569, 0.9864, 0.6632],
[0.5050, 0.9506, 0.9068],
[0.2440, 0.4224, 0.2031],
[0.5137, 0.0945, 0.7492],
[0.5769, 0.1063, 0.4068]])
# 创建一个全0矩阵并且指定数据类型
x = torch.zeros(5, 3, dtype=torch.long)
print(x)
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
# 直接根据给定数据创建tensor
x = torch.tensor([1, 2, 3])
print(x)
tensor([1, 2, 3])
pytorch还可以根据现有的tensor创建新的tensor，新tensor会继承原有tensor的参数(例如dtype)。
x = x.new_ones(5, 3) # new_xxx函数不能继承size
print(x)
x = torch.randn_like(x, dtype = torch.float) #xxx_like支持继承size，注意二者的调用方式不同
print(x)
print(x.size())
tensor([[1, 1, 1],
[1, 1, 1],
[1, 1, 1],
[1, 1, 1],
[1, 1, 1]])
tensor([[ 0.3601, 1.0011, -0.0024],
[-1.1362, -0.3402, -0.8259],
[ 0.6629, -1.2436, 0.1516],
[-2.2502, -0.2364, 0.0148],
[-0.1206, -0.4858, -0.6651]])
torch.Size([5, 3])
torch.Size返回的是一个元组
Tensor操作
y = torch.rand(5, 3)
#向量的基本运算可以有两种语法
print(x + y)
print(torch.add(x, y))
tensor([[ 0.5282, 1.2770, 0.6694],
[-1.0992, -0.0199, -0.0917],
[ 1.6429, -0.6908, 1.1355],
[-1.4873, -0.0198, 0.6782],
[ 0.0068, -0.2068, 0.2573]])
tensor([[ 0.5282, 1.2770, 0.6694],
[-1.0992, -0.0199, -0.0917],
[ 1.6429, -0.6908, 1.1355],
[-1.4873, -0.0198, 0.6782],
[ 0.0068, -0.2068, 0.2573]])
res = torch.empty(5, 3)
# 还可以指定out参数存放运算结果
torch.add(x, y, out=res)
print(res)
tensor([[ 0.5282, 1.2770, 0.6694],
[-1.0992, -0.0199, -0.0917],
[ 1.6429, -0.6908, 1.1355],
[-1.4873, -0.0198, 0.6782],
[ 0.0068, -0.2068, 0.2573]])
带有
_后缀的方法都会改变tensor本身
y.add_(x)
print(y)
tensor([[ 0.5282, 1.2770, 0.6694],
[-1.0992, -0.0199, -0.0917],
[ 1.6429, -0.6908, 1.1355],
[-1.4873, -0.0198, 0.6782],
[ 0.0068, -0.2068, 0.2573]])
适用于ndarray的各种索引方式也同样适用于tensor
print(x[:, 1])
tensor([ 1.0011, -0.3402, -1.2436, -0.2364, -0.4858])
view()可以用来对tensor进行resize/reshape
# 注意view方法不改变原tesnor，返回的是一个副本
x = torch.rand(4, 4)
y = x.view(16)
z = x.view(-1, 8) # -1表示根据其他维度自动推断
print(x.size(), y.size(), z.size())
torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])
item()用于将单个tensor转换成python基本类型的数据
# 这种访问方式得到的是tensor
print(x[3, 3])
# 这种访问方式得到的是python基本类型
print(x[3, 3].item())
tensor(0.7353)
0.7353075742721558
注意不同点：ndarray可以直接通过索引的方式得到python基本类型的数据
NumPy Bridge
tensor和ndarray之间的转换非常简便。
需要注意的是，相互转换得到的tensor和ndarray是共享内存的(前提是pytorch使用CPU)，一个被改变，另一个也会改变。
a = torch.ones(5)
print(a)
tensor([1., 1., 1., 1., 1.])
numpy()用于将tensor转化为ndarray
b = a.numpy()
print(b)
[1. 1. 1. 1. 1.]
a.add_(1)
print(a)
print(b)
tensor([2., 2., 2., 2., 2.])
[2. 2. 2. 2. 2.]
注意只有修改才会共享内存，例如
_方法，如果重新对其中一个赋值，则不会影响另一个。
torch.from_numpy()用于将ndarray转化为tensor
import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)
[2. 2. 2. 2. 2.]
tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
使用CUDA
to()方法用于将tesnor迁移至目标设备上
if torch.cuda.is_available():
device = torch.device("cuda") # 使用GPU前，要判断cuda是否可用，然后还要获取device对象
y = torch.ones_like(x, device=device) #对tensor初始化时，可以指定device，直接在GPU上创建tensor
x = x.to(device) # 也支持.to("cuda")
z = x + y
print(z)
print(z.to("cpu", torch.double)) # to方法也可以改变dtype
tensor([[1.4705, 1.9829, 1.9741, 1.5869],
[1.3180, 1.9238, 1.8228, 1.0887],
[1.6227, 1.8772, 1.0968, 1.2751],
[1.4065, 1.3558, 1.5369, 1.7353]], device='cuda:0')
tensor([[1.4705, 1.9829, 1.9741, 1.5869],
[1.3180, 1.9238, 1.8228, 1.0887],
[1.6227, 1.8772, 1.0968, 1.2751],
[1.4065, 1.3558, 1.5369, 1.7353]], dtype=torch.float64)