张量除以张量T1/T2和Normalization
在做normalization过程中,张量除以另外一个张量就会用到。
假设我们有一个tensor size为[32, 512]的张量T1,其中32为batch size, 512为features, 为了容易理解,我们所有元素的值都为2:
对T1,我们求它的F范数(所有元素的平方和的算术平方根),按照features所在维度,即dim=1, 这样得到[32, 1]的tensor:
对T2, 再按照T1的大小:[32, 512]进行扩展,这样每一行都有相同的F范数(为了演示,所有行的值都是相同的):
然后T1/T2:对应元素相除
T_normalized为T1的normalization的结果。