tensorflow系统架构 由底层向上：
网络层：grpc（Remote Procedure Calls。google远程调用框架）、远程直接数据存取。 和 设备管理层：cpu，gpu，fpga，对上层提供统一的接口
数据操作层：卷积函数、激活函数
图计算层：本地计算图、分布式计算图
API层：核心API、python、C++，java、Go
应用层：训练相关类库、预测相关类库
设计理念：
图的定义和运行完全分开。tensorflow涉及的运算要放在图中。而图的运行放在会话session中，session关闭后不能进行运算。
例：
'''
import tensorflow as tf #创建图
a = tf.constant([1.0 , 2.0])
b = tf.constant([3.0 , 4.0])
c = a*b
sess = tf.Session() #创建session
print(sess.run(c)) #在session中进行运算
sess.close() #session关闭
'''
计算过程：
输入，经过塑形，一层一层向前传播运算。
Relu层里会有两个参数。Wh1 和 Bh1 .输出前用relu(rectified linear units 整流线性单元) 激活函数做非线性处理。
然后进入logit输出层，学习两个参数Wsm 和 Bsm 。 用 softmax 计算输出结果中各个类别的概率分布。 用交叉熵度量两个概率分布(原样本和输出结果) 之间的相似性
然后开始计算梯度，这里需要Wh1 , Bh1 , Wsm , Bsm 以及交叉熵的结果。
然后进入SGD训练。这个过程也称为反传播。从上往下计算每一层参数。依次进行更新。也就是说，计算和更新的顺序为： Bsm , Wsm , Bh1 , Wh1
图示 ：
