（1）
英中，P为图像序列帧数，Xj、和〃丿分别为待求的第j帧髙分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声，矩阵D、和M阳分別为下采样矩阵、模糊矩阵和第丿帧和第k帧之间运动矢量所构成的运动矩阵。
关于模糊矩阵和运动矩阵的先后关系，WANGZZ等指出，如果更换两者的位苣会引起系统误差。
设H=DBM，则式
（1）即可简化为
y-Hx-^-n
（2）
求解式
（2）需要确左也就是求解或者确认式
（1）中的D、B、M和噪声〃，这包括以下几个问题：
（1）运动估计，需要从观察到的低分辨率图像得到精确的运动矢疑，并使用插值等方法去近似髙分辨率图像的运动矢量：
（2）图像模糊的估计，通常需要对点扩散函数进行计算或假设；（3）噪声估计，噪声会极大地影响系统的求解，对于噪声的估计是非常重要的一步。
SR技术在早期研究中仅指基于多幅图像的还原方法，将基于单幅图像的增强称为插值,而目前多数文献中将这2种情况均称为超分辨率。
超分辨率技术自Tsai和Huang提出利用多帧图像序列来恢复髙分辨率图像以来，至今已有二十余年，英间大量算法被提出。
目前，图像超分辨率研究可分为3个主要范畴：
基于插值、基于重建和基于学习的方法。
1.基于插值。
该方法是目前超分辨率研究中最直观的方法。
通过对该图像的多帧进行比较估计，得到它们之间的相对关系信息，以此获得高分辨率图像在非均匀间距采样点上的像素值。
然后通过非均匀插值的方法，经过一左的插值，就可以得到一幅高分辨率的图像。
当然，这样得到的图像会存在噪音、模糊等问题，因此可以通过图像恢复技术进行一泄的修复。
2.基于重建。
该方法主要有配准和重建两个关键步骤。
在配准时，利用多帧低分辨的图像作为数据一致性的约束,这样可以获得英他低分辨率的图像和参考低分辨图像之间的亚像素精度的相对运动。
重建时，可以利用图像的先验知识对目标图像进行优化。
该方法常见的算法有迭代方向投影、最大后验概率、凸集投影等。
3.基于学习。
该方法的前提是认为低分辨率的图像完全拥有用于推理预测其所对应的高分辨率部分的信息。
这样就可以对一个低分辨率图像集进行训练，产生一个学习模型，这个模型可以计算出图像髙频细廿信息。
目前，常用的学习算法有Freeman等人提岀的Example-based方法、Chang等人提岀的基于邻域嵌入的方法等等。
各种方法及成果
1.基于插值的超分辨率技术
基于多帧图像插值技术的方法是超分辨率研究中最宜观的方法。
这类方法首先估计各帧图像之间的相对运动信息，获得HR图像在非均匀间距采样点上的象素值，接着通过非均匀插值得到HR栅格上的象素值，最后采用图像恢复技术来去除模糊和降低噪声.典型的方法包括Rajan和Chaudhuri旳通过分解、插值和融合3个步骤实现的通用插值方法：
陶洪久等画提出的小波域的双线性插值：
Lcrtrattanapanich和Bose删提出的使用基于光滑性约朿的Delaunay三角化插值算法等.这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求：
但因为不能引入额外有用的髙频信息，因而很难在SR图像中得到锐化的效果al；同时，也没有考虑到LR图像的象素值并不是HR图像的理想采样值，而是对HR图像象素值的空间平均和卷积效应这一事实。
为了获得高质量的视频效果，高级的运动补偿插值技术是必要的。
目前，很多不同的算法用来在TV环境下进行视频格式的转换，而帧重复是一种常用的提高视频帧率的方法，被用在PC环境下的视频播放。
帧重复没有考虑场景的运动，所以在视频运动区域不可避免地出现短暂停顿以及视觉模糊现象。
一般说来，如果输入输出视频帧率相差低于30Hz,帧重复技术将导致运动停顿，而高于30Hz的话就会产生运动模糊。
一个好的运动补偿算法能够沿着运动轨迹将运动物体插值到当时正确的位置上，从而克服了帧重复技术遇到的问题，增加视频的时间分辨率，提高对高速动态事件的表示能力。
超分辨率问题可以在时域和空域上同时来做⑶）。
Tom等I阖提出了一种迭代算法来增强视频图像的分辨率，这种算法的效果依赖于视频的运动估计算法的效果。
由于视频图像超分辨率的效果很大程度上依赖于连续帧之间的图像调整的修正，ZhongdingJiang（⑼采用了一种光流场方法来准确估计图像对之间的运动变化，同时提供了一个稳定有效的机制去检测和剔除会影响超分辨率效果的错误图像匹配，通过对复杂动态视频序列的应用，表明该方法的有效性。
LertrattanapanichS.厲1通过汁算一个投影模型的参数来估计相机的运动，进一步将相机运动考虑到超分辨率算法中来重构髙分辨率图像。
BormanS.等（⑺提出了一个多帧同步超分辨率视频重构方法，该方法利用了时空平滑约束，并给出了运动估计置信参数，抑制了运动估计误差，获得了较好的重构效果。
通过融合相同动态场景的多个低分辨率视频序列信息，ShechtmanE.等⑶】提出了一种重构髙时空分辨率视频序列的方法,该方法同时在空域和时域进行，通过一立的折中获得了较好的效果。
基于插值运动补偿的方法针对视频的时间超分辨率,通过运动补偿算法将运动物体插值到当时正确的位置上，从而弥补视频采样设备采样帧率的限制，生成高质量的视频。
空间维和时间维是非常不同的，但又是相关的，这导致了视频在空间和时间上的折中。
时间分辨率的大幅度提髙通常以空间分辨率的降低为代价，反之亦然。
2.基于重建的超分辨率技术
1频域方法
通过在频率域消除频谱而改善图像的空间分辨率。
频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。
虽然频域方法理论简单，运算复杂度低,很容易实现并行处理，具有直观的去变形超分辨率机制，主要方法列举如下：
（1）基于傅里叶变换的移位特性：
（TsaiandHuang）
（2）考虑光学系统的点扩展函数和噪声的影响：
（Tckalp）
（3）估计帧间整体平移参数的解算方法：
（KaltenbackerandHardie）
（4）用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。
由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。
2空域方法
（1）迭代反投影方法（IterativeBackProjection,IBP）;
Irani和Pelegis-^i提出的迭代反向投影法是超分辨率图像复原中具有代表性的一种方法。
迭代反投影方法（IBP）首先用输出图像的一个初始估计作为当前结果，再将英投影到低分辨率观测图像上以获得低分辨率模拟图像。
通过低分辨率模拟图像与实际观测图像的差值不断更新当前估计。
IBP通过观测方程使超分辨率复原与观测数拯匹配，但其超分辨率重建结果不唯一，而且难以引入先验约朿。
Irani和Pclcg证明了算法是收敛的。
算法简单、直观。
但是没有能够利用到先验知识，解不稳定、不惟一。
（2）凸影投影法（ProjectionontoConvexSet.POCS）;
Stark和Oskoi川珂最早提岀的凸集投影方法（POCS河以简单而有效地求解超分辨率问题,通过把高分辨率图像的解空间上与一系列的代表髙分辨率图像性质的约束集（如非负性、能量有界性、观测数据一致性、局部光滑性等）相交，可以得到一个更小的解空间。
从高分辨率图像空间的一点出发，不断利用迭代投影的方法寻找满足所有约束凸集的下一点，最终获得高分辨率图像的估讣。
现在凸集投影方法是一类解决超分辨率图像复原问题的流行算法。
为了降低噪声和减少奇异性解，POCS应用约束条件将先验知识整合到计算中。
超分辨率图像解空间与一组凸形约束集合相交叉，而这组凸形约朿集合代表了期望的超分辨率图像的一些特性，如正泄、能量有界、数据可靠、平滑等，通过这些约束集合就可以得到简化的解空间。
POCS是指一种迭代过程，在给立超分辨率图像空间中任意一个点的前提下，可以立位一个能满足所有凸形约朿集合条件的收敛解。
凸集投影法的特点是方法简单，能够充分利用先验知识，可利用任何成像模型方便地加入先验信息，也可以很好地保持髙分辨率图像上的边缘和细节；但苴缺点是解不唯一，收敛速度慢且稳泄性不好，解依赖于初始估计，讣算量大。
（3）最大后验概率估计（MaximumaPosteriori,MAP）;
Schultz和Stevenson©351提出的MAP方法是典型的概率论方法，他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。
最大后验槪率估计方法将超分辨率图像视为一个复杂最优化问题的MAP解，使用先验平滑假设来减少不连续测量的影响。
最大后验概率（MAP）的含义就是在已知低分辨率视频序列的前提下，使出现髙分辨率图像的后验概率达到最大。
最大后验概率估汁方法的收敛稳左性取决于先验概率，先验概率模型应该是一个具有边缘保持能力的局部平滑的凸函数。
最大似然增强方法可以认为是最大后验概率增强方法在等概率先验模型下的特例。
最大后验概率估计方法的优点是在解中可以直接加入先验约束，适用于非线性和线性成像模型，能确保解的存在和唯一，降噪能力强、收敛稳泄性高，可同时实现运动估计和增强：
缺点是收敛慢和运算量大。
另外，最大后验概率估计算法的边缘保持能力不如凸集投影方法，由这类方法获得的髙分辨率图像的细肖容易被平滑掉。
英他还有基于髙斯先验假设1呦和动态树推理算法卩"等.MAP方法的优点在于有惟一解,如果有合理的先验假设可以获得非常好的图像边缘效果。
但是其显著的缺点就在于计算量相对比较大。
（4）混合MAP/POCS方法：
通过最小化有特泄集合约束的最大后验概率/最大似然估计（MAP/ML）的损失函数，得到高分辨率图像的估计就是最大后验概率/最大似然估计/凸集投影（MAP/N1L/POCS）混合方法.Schultz和Stevenson低均最早将MAP优化与投影约束相结合。
MAP/POCS综合法综合利用了这两种算法各自的优点，在最大后验概率方法的迭代优化过程中加入了一些先验约朿。
已有的理论证实，只有采用梯度下降最优化方法才能保证这种MAP/POCS方法收敛到全局最优解。
混合方法结合了MAP和POCS各自的优点，充分利用了先验知识并且收敛的稳定性也比较好，是目前为I上基于重建的算法中最好的。
这里只是介绍了常用的4种基于重建的超分辨率的方法。
基于重建的方法比较成熟，主要针对图像空间信息的增强和复原，但是仍存在很多问题。
为了增强超分辨率算法的鲁棒性,人们又提岀了许多改进方法。
文献使用运动分割方法来处理运动物体，英依赖于运动分割的精确性。
一种鲁棒的中值估计器被应用到一个迭代的超分辨率算法中（别，由于它使用待放大的输入图像的中值作为初始值，只有背景图像的分辨率被增强，而不是整个图像都被增强。
在很多算法中，强加的平滑约束条件削弱了髙频成分，使结果变得模糊。
当场景严格不变时，如一副二值文本图像，可使用规则化调整算法。
总的来说，基于重建的方法发展比较成熟，主要针对图像空间信息的增强和复原，在一些情况下取得了不错的效果。
但是还需要进一步提髙超分辨率图像增强的能力,减小计算量,加快运算的收敛速度，适用于不同的图像和应用场合。
3.基于学习的超分辨率技术
基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与髙分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。
马尔可夫网络建模低分辨率和髙分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复岀高分辨率图像。
通过算法去学习识别指左类别，如对象、场景、图像，将得到的识别先验知识用于超分辨率，通过对人脸和文字图像的实验，获得了比传统使用标准平滑先验知识的基于重构的超分辨率方法更好的结果，这就是基于学习的超分辨率方法。
基于学习的超分辨率算法使用一个图像训练集来产生一个学习模型，并运用这个模型创建图像的髙频细节。
基于学习的方法是近年来超分辨率算法研究的热点方向。
英基本思路是通过给定的训练图像集，计算测试样本的patch与训练图像集patchesZ间的邻域关系，并构造最优权值约朿，来获得先验知识并逼近测试样本的高分辨率图像。
当低分辨率数据提供的信息不满足高分辨率需求时，基于学习的方法可以获得更多的图像髙层信息，因而具有很大优势，在图像超分辨率应用中可能得到比较理想的结果，为在大抽取率情况下恢复必要的高频信息给出了新的思路。
基于学习的方法认为，低分辨率的图像已经拥有充分的用于推理预测英所对应的高分辨率部分（例如边缘等）的信息，通过对一组同时包括高分辨率图像和低分辨率图像的训练集合的训练，学习到一个联合的系统模型。
这个模型的表现形式可以是：
一组学习到的插值核、一个低分辨率patch的査找表、低分辨率patch与高分辨率patch之间的映射系数等。
基于学习的方法是在基于重建的方法遇到困难的情况下发展起来的，虽然起步较晚，但目前看来，能够弥补基于重建方法的很多不足。
结合智能技术的发展，这种方法应该能极大地提髙视频空间分辨率，是值得进一步研究的方向。
（1）Example-based方法；
Freeman等刚小首次使用Markov网络对图像的空间关系进行建模，他把图像分成一些5x5或7x7的小块，成为patch,通过学习，获得表示高分辨率patch之间的转移概率矩阵屮和表示髙分辨率patch和低分辨率patch之间的转移概率矩阵①。
对于一个给泄的测试图像y，同样把它分割成patch之后，对于每一个patch在寻找它在Markov网络中的位置，同时获得它与
升级会员 