科研思路：
大致方向：遥感图像+超分
科研安排：前期调研，中期ideas+实验循环，后期成文。
阶段调研总结：
遥感图像分为高光谱、光学、SAR等几类，主要从以下几个方面进行调研：
1、不同类型遥感图像的特点以及超分的难点；
2、不同类型遥感图像的深度学习超分应用；
3、针对图像超分结果的评估指标。
针对评估指标:
【1】Image quality assessment for determining efficacy and limitations of Super-Resolution Convolutional Neural Network (SRCNN)
【2】Using image quality metrics to identify adversarial imagery for deep learning networks
【3】No-Reference Image Quality Assessment in the Spatial Domain
【4】A Framework of Mixed Sparse Representations for Remote Sensing Images
【1】介绍了SRCNN在不同情况下的超分结果，并用no-reference指标brisque和reference指标PSNR和SSIM进行图像质量评估。文中介绍了四种情况下的超分，分别是：
Image Compression：利用SRCNN对JPEG压缩图像进行重建，其超分图像在PSNR、SSIM上并未有所提升，但改善了brisque sroces。
Successive Image Correction：
Scaling Factor：针对不同的超分factor情况，factor增加会导致brisque、psnr、ssim变差。
Incremental Scaling：在brisque指标上，增量式重建（2X2X）比单次（4X）要好。
【1】中学习的想法：1、brsque是否可以作为超分评价指标，2、利用增量式重建是否质量更好。
【2】实验验证了BRISQUE可作为区别真实图像与对抗图像的标准。
【3】提出了BRISQUE指标，自然图像的亮度归一化后是趋向于高斯分布的，而失真会破坏这种分布，所以通过测量这种统计特征的改变可以达到衡量失真程度的目的。针对超分，可以考虑重建后保持这种分布，即brisque。但是该指标描述是自然图像，对于遥感图像是否也拥有这种分布，以及遥感图像是否拥有其他某种分布，还需要继续深入调研。
【4】引入点扩散函数（Pointed Spread Functions, PSFs）的概念对其超分方法进行评价，利用维纳滤波计算超分遥感图像与经过插值的低分辨率均值图像的PSF值，通常情况下，PSF的半峰全宽值与图像的模糊程度相关，宽度越宽图像越模糊，相应地，在这里PSF的半峰全宽值越宽则表明重构质量越好。
对于指标，经过讨论，最好还是研究常用指标PSNR、SSIM等指标，使用其他指标改模型难度较大，研究遥感的图像基于某种分布属于另外的研究问题，其他指标可作为附加实验。
利用深度学习的遥感超分应用：
两篇关于高光谱图像的超分：
【1】Hyperspectral image reconstruction by deep convolutional neural network for classification
【2】Hyperspectral image super-resolution using deep convolutional neural network
【1】【2】指出高光谱图像在重建过程中，既要实现空间特征的超分辨率，同时需保留光谱信息不distort。
【1】的contribution：
1、提出HRCNN，包含四层CNN，结构没啥创新。
2、Band selection：从高光谱图像波段中选出在六个特征上与first PC（pca降维的第一主成分）相近的一个band。including angular second moment(ASM), contrast, entropy, variance, correlation, dissimilarity
3、classification：最后用各种分类器来评估重建效果。
【2】的contrbution：
1、用于重建空间特征的SCT策略。
2、用于重建光谱信息的SDCNN，通过CNN网络训练高光谱图像波段间的差值，实现光谱信息的重建。
3、结合SCT策略和SDCNN进行SR，实现在光谱信息不失真的情况下空间信息的重建。
在高光谱超分方面请教了师兄，指出几个难点：
1、目前仍以传统方法为主，并没有很好的与深度学习结合；
2、高光谱图像本身结构复杂，且存储大，图像处理计算消耗大；
3、利用深度学习进行end-to-end建模难度大，还没有相关成果。
