三维重建与可视化技术的进展.docx

1、三维重建与可视化技术的进展医学图像的三维重建与可视化技术的进展随着 20 世纪七十年代计算机断层技术( Computerized Tomography, CT )、 核磁共振成像( Magnetic Resonance Imaging, MRI )等医学影像技术的应用， 可以得到病人病变部位的一组二维断层图像， 通过这些二维断层图像医生可以对 病变部位进行分析，从而使得医学诊断和治疗技术取得了很大的发展。但是，这些医疗仪器只能提供人体内部的二维图像， 二维断层图像只是表达 某一界面的解剖信息， 医生们只能凭经验由多幅二维图像去估计病灶的大小及形 状，“构思”病灶与其周围组织的三维几何关系，这就

2、给治疗带来了困难。在放 射治疗应用中， 仅由二维断层图像上某些解剖部位进行简单的坐标叠加， 也不能 给出准确的三维影像，造成病变定位的失真和畸变。三维重建与可视化技术利用一系列的二维图像重建为具有直观、 立体效果三 维图像模型，并进行定性、 定量分析。该技术不仅给医生提供了具有真实感的三 维图形，并让医生从任意角度观察图像， 还可以从二维图像中获取三维结构信息， 提供很多用传统手段无法获得的解剖结构信息， 帮助医生对病变体和周围组织进 行分析，极大地提高医疗诊断的准确性和科学性， 从而提高医疗诊断水平。 同时， 三维重建与可视化技术还在矫形手术、 放射治疗、 手术规划与模拟、 解剖教育和 医学

3、研究中发挥着重要作用。本文首先介绍了医学图像三维重建的几种经典方法， 以对该技术有个总体性 的大致的了解；然后结合相关文献， 深入研究了一个改进的 M(C Marching Cubes) 算法以及基于寰椎的 X 线图像的三维形态重建。一、医学图像的三维重建的几种常见方法 目前，医学图像三维重建的方法主要有两大类： 一类是通过几何单元拼接拟 合物体表面来描述物体的三维结构， 称为基于表面的面绘制方法； 另一类是直接 将体素投影到显示平面的方法， 称为基于体数据的体绘制方法， 又称直接体绘制 方法。其中面绘制方法是基于二维图像边缘或轮廓线提取， 并借助传统图形学技 术及硬件实现的， 而体绘制方法则

4、是直接应用视觉原理， 通过对体数据重新采样 来合成产生三维图像。 近来，产生了结合面绘制和体绘制两者特点的混合绘制方 法，可以称为第三类三维重建方法。(1)面绘制方法面绘制是最早应用于医学图像三维显示的技术。它通过平面元来近似和逼 近物体表面，是一种表面的提取和显示技术。面绘制的基本思想是提取感兴趣物 体的表面信息，再用绘制算法根据光照、明暗模型进行消隐和渲染后得到显示图 像。其基本过程如图1所示，首先由一组断层图像构造出三维体数据场， 然后对规则数据场中的体数据进行待显示物体的表面分割，并从体数据中抽取一系列相 关等值面。然后再通过构造几何基元进行多边形拟合近似，内插形成物体表面。 最后通过

5、传统的图形学算法，包括光照、纹理映射等进行真实感图形显示。图1面绘制流程图根据面绘制重建过程中处理元素的级别不同， 可以将面绘制方法大致分为体素级重建方法和切片级重建方法两类。(1)体素级重建方法体素级重建方法【2,3】是在体数据内以体素为单位跟踪表面，在构成表面的体 素内进行小面片重建。最后再借助于图形学方法将小面片组成的物体轮廓显示出 来。体素级重建方法主要有：1)立方体法(Cuberille):它是最早的体素级重建方法，用边界体素的六个 面拟合等值面，即把边界体素中相互重合的面去掉，只把不重合的面连接起来近 似表示等值面。2)移动立方体法(Marchi ng Cubes):它是由 WE

6、Lore nson 和 H.E.Cli ne 在1987年提出来的三维空间规则数据场构造等值面的经典方法。它可以用于由 医疗诊断的扫描仪(CT)及核磁共振仪(MRI)等产生的图像。MC方法的主要步骤如 下：首先确定包含等值面的体元，然后求等值面与体元边界的交点及等值面的法 向，最后绘制出等值面图像。3)移动四面体法(Marching Tetralledra):它是在MC方法的基础上发展起 来的。该方法首先将立方体的体元剖分为四面体，然后在其中构造等值面。4)剖分立方体法(Dividing Cubes)：它仍是由 W.E.Lorenson 和 H.E.Cline 两人提出的。随着新一代CT和MR

7、I等设备的出现，二维切片中图片的分辨率不 断提高，断层不断变薄， 己经接近并超过计算机屏幕显示的分辨率。 在这种情况 下，提出了 DC方法。(2)切片级重建方法切片级重建方法 【4-7 】也可以称为连接轮廓线法， 是面向多边形的面绘制方法。 其核心是：在每一个二维断层图像中提取边界， 得到由边界堆叠的表面线框表示， 然后进行表面重建。 通常也是用三角形贴面技术， 用三角形将层与层间的轮廓线 连接起来， 最后进行表面明暗处理， 得到具有立体感的三维表面。 该方法的主要 步骤是：第一步：平面轮廓的提取。 平面轮廓的提取一般基于物体与背景间灰度或其 它属性的差异进行分割和提取。第二步： 片间轮廓的对

8、应。 片间轮廓的对应具有较大的任意性， 一般可以通 过对不同层面上轮廓重叠部分定量比较， 或应用一些能够描述轮廓形状的椭圆拟 合、柱体生长等方法判断。第三步：轮廓拼接。 确定了对应的轮廓之后， 还需要确定对应轮廓上的对应 点，通常采用活动轮廓法 (Active Contour) 。确定了对应点之后，可以用小三角 形或四边形面片将相邻层面上对应点及其邻点连接起来， 这些小三角形面片连接 起来就构成物体表面的大致表示。第四步：曲面拟合。 小三角面片结构只能是物体表面的粗略表示， 较为精确 的方法可用曲面拟合， 即用通过小三角形顶点的曲面代替三角形平面。 常用的有 三次B样条插值，更为精细的有非均匀

9、有理 B样条(NURBS)切片级重建必须解决下面四个问题：1)轮廓对应问题：确定相邻切片上轮廓的对应关系；2)轮廓拼接问题：用多边形或者三角形连接不同层面上的对应轮廓，以最 佳的方式表示物体表面。 最关键是确定对应轮廓上点的相互对应关系， 并用多边 形构造轮廓间的表面；3)分叉问题：当一个物体在一对相邻断层上的轮廓数不相等时，就发生了 分叉情况。在轮廓对应出现一对多关系的情况下，确定表面的多边形拼接；4)曲面拟合问题：根据上述步骤确定的点之间的连接关系和表面拓扑结构， 确定最佳拟合曲面。在切片级重建方法中，轮廓对应和拼接都是关键性的问题， 虽然许多人都致力于这些问题的研究，但至今尚未完全解决好

10、。（3）两类面绘制方法的比较原始图像分辨率较高时，体素级重建方法比切片级重建方法更可靠、 更有效； 而当原始图像分辨率较低时，体素级重建方法的精度较低，这时切片级重建方法 能够比较好的构造出光滑的表面。 总的来说，由于体素级重建方法不考虑分叉问 题，全局的拓扑结构已经由局部拓扑处理所确定，所以它比切片级重建有更高的 精度和可靠性。但体素级重建方法重建的结果却产生大量的几何图元， 占用大量的存储空间，即使对于几何结构非常简单的物体也是如此。 因此，在保证一定精度的前提下，减少几何图元的数量就成为体素级重建方法中一个值得研究的问 题。切片级重建方法可以实现大幅度的数据压缩， 但轮廓对应存在着多义性

11、，特 别是在分叉情况下，轮廓对应问题的不确定性更加严重。 两种方法都有各自的优 缺点，不能简单地说哪一种方法更好，要根据具体的情况进行选择。（二）体绘制的方法与面绘制不同，由于体绘制算法认为体数据场中每个体素都有一定的属性（透明度和光亮度），而且通过计算所有体素对光线的作用即可得到二维投影图 像，因此，体绘制可以利用模糊分割的结果，甚至可以不进行分割即可直接进行 体绘制。这样做的好处在于有利于保留了三维医学图像中的细节信息， 但缺点是加大了计算开销，即使在硬件图形加速支持的机器上，体绘制也比面绘制慢的多。 鉴于体绘制的中心思想是为场景中的每个体素指定一个不透名度， 因此需考虑每个体素对光线的透

12、射、反射和折射作用。可以用图 2来说明体绘制算法的实质。 三维空间分布在离散网格点上的数据一般是由三维连续的数据场经过后作插 值运算取得的。图形设备屏幕上的二维图像则是由存放在帧缓存中的二维离散信 号经而成。因此，的作用就是将离散分布的三维数据场， 按照一定的规则转 换为图形显示设备帧缓存中的二维离散信号，即生成每个象素点颜色的 R、G B值。图2体绘制流程图断层扫描、有限元分析或随机采样 体绘制算法图形硬件重建根据不同的绘制次序， 体绘制方法目前主要分为两类： 以图像空间为序的体 绘制方法和以对象空间为序的体绘制方法。（1）以图像空间为序的体绘制方法体光线跟踪法 该类方法是从屏幕上的每一个象

13、素点出发， 根据设定的视点方向， 发出一条 射线，这条射线穿过三维数据场的体素矩阵，沿这条射线选择 K 个等距采样点， 由距离某一采样点最近的 8 个体素的颜色值及不透名度值作三维线性插值， 求出 该采样点的不透名度值及颜色值。 在求出该条射线上所有采样点的颜色值及不透 名度值以后，可以采用由后到前或由前到后的两种不同的方法将每一采样点的颜 色及不透明度进行组合， 从而计算出屏幕上该象素点处的颜色值。 其主要步骤是：For 每条光线 DoFor 每个与光线相交的体素 Do 计算该体素对图像空间对应象素的贡献（2）以对象空间为序的体绘制方法体单元投影法 该类算法首先根据每个数据点的函数值计算该点

14、的不透名度值及颜色值， 然 后根据给定的视平面和观察方向， 将每个数据点的坐标由对象空间变换到图像空 间。再根据选定的光照模型， 计算出每个数据点处光照强度。 然后根据选定的重 建核函数计算出从三维数据点光照强度到二维图像空间的映射关系， 得出每个数 据点所影响的二维象素的范围及对其中每个象素点的光照强度的贡献。 最后将不 同的数据点对同一象素点的贡献加以合成。体单元投影法的主要步骤 :For 每一体素或单元 DoFor 该体素在视平面投影区域内的每一象素 Do 计算象素点获得的光照强度（3）两类体绘制方法的比较两种方法各有特点， 体光线跟踪法要将当前所有体数据存入内存， 内存要求 高。而体单

15、元投影法只需当前单元的体数据。 从走样的情况分析， 由于体光线跟 踪法采用点采样， 走样情况只有通过分布式光线跟踪才能消除。 相对地讲， 体单 元投影法可达到解析解的程度。 实质上，图像质量高低的关键在于所采用的重建 核函数的精度。高精度的再采样同样能较大地提高光线跟踪的质量。 但应注意到， 对象空间往往比图像空间要大的多，所以体单元投影法的计算时间相对要大得 多。但体光线跟踪难以并行化，而体单元投影的并行处理要相对容易得多。（三）混合绘制方法混合绘制方法组合了面绘制和体绘制的绘制特点， 可以同时进行面绘制和体 绘制。其特点是保留了原始数据表示， 避免了因变换引起的走样和变形。 这一方 法具体

16、来说有两种不同的混合绘制途径：一种是扩展传统的体绘制光线跟踪方 法，使之能对几何面数据也能进行光线跟踪， 即混合光线跟踪方法； 另一种是对 几何数据和体数据分别绘制，用深度分类算法组合结果，即组合绘制方法。Levoy 提出的混合光线跟踪是第一个将多边形面光线跟踪与体绘制光线跟 踪相组合的混合光线跟踪算法。 对于从视点出发穿过屏幕象素的每条光线， 沿光 线在 w 个等步长位置采样体数据由周围体素的值插值计算出采样点的颜色和不 透明度。同时对于每条光线和多边形的所有交点，用Pho ng等具体的光照模型计 算出每一交点的颜色和不透明度。 影响一条光线的贡献数等于沿光线的体采样数 和光线与多边形的交点

17、数据， 由深度分类， 从前到后以光线前进方向组合所有贡 献点。由于光线跟踪是点采样过程， 因而很容易发生走样和形变。 为了提高结果 图像的质量， 可采用以下两个策略： 一是根据体采样不透明度的衰减计算出的多 边形绘制图像决定是否需要进行超采样； 二是用体和多边形的交的类型改变沿光 线的采样位置。 通过这两种技术， 可以较大地提高结果图像的质量， 但计算开销 也同样增大。组合绘制方法保留了面绘制和体绘制各自的相对独立性， 其绘制过程的相对 独立性是很重要的， 因为在目前的工作站上体绘制的性能与面绘制的性能相差甚 远，应用组合体绘制可以充分发挥现有面绘制模块和现有图形硬件的性能， 从而 提高混合绘

18、制的速度和质量。 Goodsell 的工作是最早采用这种技术的尝试，在 其分子结构的绘制中提出了对不同的数据类型应用不同的绘制算法。具体而言， 是先绘制多边形几何数据，再进行体数据的绘制。 Walsum提出了另一种相似的算法，首先绘制多边形曲面， 再绘制体数据， 而且可利用面绘制的信息来加速体 绘制过程。 Fruhauf 提出的组合体绘制方法解决了半透明多边形几何面的组合绘 制问题，他没有简单地使用 Z-Buffer 进行组合，提出了用图像空间单元表进行 组合。采用组合绘制技术可以将各类图形单元如符号、 线段、 面片和体数据及图 像数据组合在一起绘制， 从而增强结果图像的表达力， 这在许多场景

19、下是必不可 少的。二、文献研究(一)一种适用于医学图像重建的改进的 MC算法1、基本思路MC算法是一种使用广泛的面绘制方法，其原理很简单且易于实施，但存在 一些弊端：(1)顺序检测每一个立方体，耗时极多，效率低； (2)产生的三角片 数量巨大， 大大降低了重建速度；(3)不能保证三角面片所构成的等值面的拓扑 一致性。由于该算法对每个立方体的处理都是一样的， 因此可以采用计算机中的 并行处理技术的原理来克服弊端 ( 1)；由于边折叠静态法 (即合并边的两个端点) 能够简化网格，且几乎不影响三维重建的质量，因此可以用来克服弊端( 2)；由于体素和等值面的相交线通常为双曲线， 因此可以利用双曲线的渐

20、近原理来避免 弊端( 3)的出现。除此之外，增加了一个滤波器模块和图像分割模块，可以消 除原始图像中的噪声， 并且可以从原始图像中提取感兴趣的部分， 从而提高三维 重建质量。2、改进步骤( 1)在三维重建之前增加一个滤波器模块 平均领域法、中值滤波法和保留边缘法是用于图像滤波的三种最流行的滤波 器。其中，平均领域法很容易实现且耗时较少， 但它会严重损坏原始的图像数据； 保留边缘法复杂且耗时较多， 但它可以很好地保留原始的图像数据； 中值滤波法 介于前面两者之间。 鉴于这三种滤波器各有其优缺点， 作者设计了三个过滤模块。(2)增加一个图像分割模块 由于人体器官的解剖结构比较复杂，医生有时只对某一

21、器官或组织感兴趣，因此将图像进行分割是有必要的。 考虑到时间成本和分割效果， 作者采用了边缘 检测法，并选择了自动分割方式。(3)将MC算法中单回路顺序检测法改变成多线同时检测法 由于计算机中的多通道技术(并行处理技术)大大提高了工作效率，所以，作者采用同样的方式对原本的单回路穿越法进行了改进。 改进前后的流程如表1所示：表1MC算法改进前后检测立方体的流程比较改进前改进后For K=1 to NUM-1For K=1 to NUM-1（穿过切面，步幅为1）（穿过切面，步幅为1）For i=1 to ROM-1For i=1 to ROM-1（横向穿过图像，步幅为（横向穿过图像，步幅为1)1)

22、For j=1 to COLUMN-1For j=1 to COLUMN-1（纵向穿过图像，步幅为（纵向穿过图像，步幅为1)5)检测体素（i，j，k）检测体素（i，j，k）检测体素（i，j + 1，k）检测体素（i，j + 2, k）检测体素（i，j + 3, k）检测体素（i，j + 4，k）（4）取立方体的棱的中点作为交点以代替用线性插值对它进行计算随着成像技术大大提高，切片层越来越薄，因此，将取棱的中点作为交点来 代替用线性插值对它进行计算，在重建结果中几乎没有产生什么不同， 误差小于 棱长的一半，但重建时间减少了 40%。此外，这个方法所产生三角网格可以在 局部区域形成平滑的等值面，这

23、样有利于网格的简化。如图3所示，虚线表示的 是在改良的方式中所产生的三角网格，实线表示的是在传统的方式中所产生的三 角网格。(5)通过使用渐近原理来避免产生不明确的表面根据空间几何学知，体素和等值面之间的相交线通常为双曲线。利用体素和 双曲线的边界面之间的相对位置可以预先确定是否有可能产生不明确的表面。 如 图4所示，当双曲线的两个分支都与体素的某一边界面相交时， 有可能产生不确 定的表面。从图4中可以发现，双曲线会将边界面分为3个区域，渐近线的交点 会出现在与某对交点相同的区域中。假设边界面为z=zO,则双曲线方程为：bo bix b2y b3xy ca2 a5z0 ， b3 a3 a7z0

24、其中，bo ao a5z0， bi ai a6zO， b2双曲线的渐近线的交点坐标为:当发生歧义时，可以获得双曲线的渐近线的交点。然后根据公式(x, y,z) f (a,y,z) c 计算出函数 f (x，y，zO)。如果 f (x，y，z0)。时，交点应在与f值远大于c的那对交点相同的区域中。否则，交点应在与 f值小于c的那对交点相同的区域中。如图 5。图5不确定性的结果（6）简化网格作者采用了边折叠的静态简化法。这种方法通过合并边的两个端点来实现简 化，并且不影响原始数据的拓扑结构。确定哪边要被折叠以及被折叠的顶点应该 在哪，是该方法需要解决的两个问题。对此，作者采用了 QEM（二次误差公

25、制）法。其基本原理是：计算点到被当作错误测量的面的距离的平方和。步骤是：首 先，为每一个原始网格放置一个 4X4的误差矩阵，并计算边折叠的花费和新增 顶点的适合性。其次，在花费上升的命令中做边折叠。 新顶点的误差矩阵是两个折叠之和。3、测试与评价作者在所改进的MC算法的基础上用Visual C+编写了一个程序，并在计算 机上进行了测试。原始的对象数据是 256256X124 （12位）的CT图像，重建结 果如图6所示。图6重建结果左一：一个原始的二维横截面图像；左二：标准 MC算法的重建结果；右二：改进的算法的重建结果；右一：旋转后的结果标准的MC算法和上述的改进的算法之间的比较如表 2所示表

26、2算法比较算法三角片的数量重建所需的时间（s）标准的MC算法41153438.519本文提出的算法9pt2981263.294可以看出，这一改进后的算法可以减少所产生的三角片的数量， 且完成重建所耗费的时间比标准MC算法所耗费的更少，而在重建好的三维图像中几乎没有 明显的差异。4、讨论作者所提出的改良的MC算法能够顺利地完成重建，调整和旋转，并且很好 地克服了传统的MC算法所存在的弊端。随着计算机硬件的不断发展，本文献中 的一些用于重建系统中的方法可以得到改进。 例如，随着计算机中存储容量的不 断增加，可以采用动态的方法来简化网格， 从而可以根据观察点的位置来简化不 同区域中的网格。（二）基于

27、寰椎的X线图像的三维形态重建利用人工髋关节替代的方法来治疗关节变性病已经成为三维形态重建技术的显著应用之一。为使髋关节的生物力学重建独特并且最优，该文献以三维统计 形态模型为基础，介绍了一种将X线图像重建出未知的三维形态的新方法。 该方 法的核心部分是对相似性测度（用来评估X线图像和形态模型的投影图之间的差 异性）进行最优化的一个算法。图7 X线图像的三维重建1、 基本思路假设摄像机标定值K和线性转换T是已知的并且不必优化，可建立形态模型 S（b,T），然后由已知的摄影机标定值 K和形态模型S（b,T）的距离，通过计算模 拟射线在形态模型中传播的距离可以得到形态模型的厚度图像。 利用体绘制技术

28、可以对X线图像进行合成得到模拟的X线图像。并用Canny边缘探测器提取出厚 度图像和模拟的X线图像以及投影图的轮廓。最后可通过对估算模型与X线轮廓 这两者的距离来有效地估算出距离 D来评价相似性测度并检查最优化程度，为人 工髋关节的移植提供比较准确的参考。2、 处理步骤及结果（1）建立统计形态模型首先将每个待处理的形态分解成许多相对应的区域， 然后在计量失真为最小的情况下，将每一个区域都连续地绘制到一个共用基畴中，直接连接这些参数就 得到了所要的关系图。这样，所有待处理的形态(将形态的表面顶点离散化的抽 样点)vi (i = 1, . . . , n) 都能够在3m范畴内公共的向量空间中表示出

29、来。然后对这组向量的主要成分进行分析，得到下面的双线性模型：nS(b,T) T(V bkPk)k 1其中V Vi /n是指平均形态，Pk是协方差矩阵C (Vi v)(Vi v)T/n的本征模。形态分量b和线性转换T是该模型的自由度。(2)估计形态模型的厚度图像由已知的摄影机标定值K(X线源的位置和方向决定了图像获得的位面)和已知的形态模型S(b,T)的距离，通过计算模拟射线在形态模型中传播的距离， 利用图表加速算法可以有效地可以估算出形态模型在图像的获得面中的厚度图像(见图8顶部)。(3)模拟X线利用体绘制技术可由CT数据集得到合成的X线图像(见图8底部)。另外， 同样的CT数据集被用来提取统

30、计形态模型的处理数据， 然后用此来评价该方法。 因此，可以直接将形态模型的投影图和标准的 X线图像进行比较。图8顶部：厚度图像(所设计的形态模型)；底部：模拟后的 X线图像(4)提取轮廓利用Canny边缘探测器从厚度和模拟的X线图像中提取出突出的轮廓(见图 9),最后从投影图像中提取轮廓。用零级设置(将厚度 0的像素和厚度=0的像 素分离开来)自动地从厚度图像中提取轮廓。然后去掉错误边缘或者增加丢失的边缘，得到图10图9 Canny边缘图(顶行：厚度图像；底行：模拟后的 X线图像)(5)选择相似性测度最优化问题是x* argminxD(x)，其中D(x)中的x (b,T,K)是指所设计的形态模

31、型和X线图像之间的差别。D的最明显的选择方法有下面两种：方法一：D的全自动选择在于厚度和 X线图像之间的强度关系。例如，利用 平方差之和或者交互信息。由于增加的结构在X线图像中有显示而在厚度图像中 没有显示以及该方法没有考虑到不均一性的存在这两个原因， 作者按这方法所得到的实验结果不太乐观(如图8所示)。方法二：第二个最明显的选择在于测量边缘图像之间的距离。 2D d(x, s)dx d(x,s) dxx s x s其中d(x,s) min x x为点x在厚度图像中的轮廓设置s和在x线图像x s中的轮廓设置s之间的距离。两者的距离以有效地估算距离作者选择了第二种方法，并作了一些改善。例如，计算了模型和X线轮廓这 D;用物体的轮廓代替完整的边缘图像 s和s以缓和轮廓难以规定对应部分的问题图10左：X线中Canny边缘探测器探测到的边缘；右 ：X线中的边缘(6)最优化因为距离函数D是非线性的，通常显示出了很多局部最小值，所以作者通过 一个以很长的间隔时间为限制条件的估算距离的方法计算出了一个更合适的查 找方向，并用它取代下降的梯度 D，以避免去解决在局部最小值中出现的问题。 另外，作者认为轮廓在最优化期间是处于不同的分辨率中， 故采用了一个多分辨率的方法来作记录，大大地减少了计算时间。3、方法测试该方法中需要测试的主要部分是统计形态模型