22 Generation
1.Generation
可以用一个RNN产生a character / word
在英文中a-z是character
generate pixal生成图片
用一个三维的方向map去生成每个位置
想要构建右下角的几个关系，用一个3d-lstm,
RNN生成其他任务
Conditional Generation
让机器看一些东西，根据我们提供的东东去生成；而不是随机产生
把image通过一个训练好的CNN得到一个向量，扔给RNN，如果担心RNN忘记之前的image，就把image反复喂给RNN
之前可以用RNN去生成
Machine Translation
把“机器学习”四个character扔给一个训练好的RNN，得到最后的一个向量。
encoder和decoder的rnn的参数可以一样，可以不一样。
这就是seq2seq learning
再拿一个encoder记住之前的，把前面的说过的都当做一个condition
RNN不需要看完整句机器翻译得到machine，可能看过机器就能得到很好结果
Attention
计算c1
效果：
00:47：00 讲述 memory network
最早做在阅读理解上
更复杂的部分：
这件事情叫作hopping，联合训练得到a和h向量
neural Turing Machine
turing machine的实现方案：
e1:把原来的memory清空
a1：把计算处理的东东写到memory中
根据视频去生成
TIps for Generation
Attention
Exposure bias解释：
解决办法就是Scheduled Sampling
第二种方案是 beam search 柱搜索
当每个结点的分支太多，就不好搜索，可以用greddy search
左边是sample出来的，而右边图直接把前一个rnn计算出来的扔到后面一个，这种做法好微分，好求梯度。
老师说这个R(y,y_hat)不可以微分，然后用Reinforcement learning做
把genration当做reinforcement learning来做
当这个sentence被generate出来后，然后再计算R
