基于最小二乘支持向量机的航天器异常检测.docx

1、基于最小二乘支持向量机的航天器异常检测基于最小二乘支持向量机的航天器异常检测摘要：异常检测就是识别一个系统反常的运行状况。它在故障预测和系统健康管理(PHM)领域有着重要的作用，可用于监控航天器的性能、检测故障、识别故障的根本起因，也可用于预测剩余使用寿命(RUL)以提高在轨航天器的安全性并减少其故障时间。本文基于最小二乘支持向量机（LS-SVM），提出了一个方法可用于检测在轨航天器的异常状态，这种方法有着优越的学习、分类和概括能力。具体过程分为以下几步：（1）数据采集和预处理。采集在轨航天器的数据，例如电流、电压、温度和振动等等，在这些数据被送往地面远程测量和控制中心之前进行预处理，包括滤除

2、噪声和去除非切削信号。（2）特征提取。包含结合任何数值和分类值的特征被提取出来，使用统计学方法对传感器的信号进行识别。（3）特征选择。使用主成分分析法（PCA）选取一个特征子集，对数据中所包含的的信息提供一个更加信息化的、强有力的表征，这是因为PCA对于维度减少和数据压缩通常是很有效的。（4）异常检测。LS-SVM被用来鉴别在轨航天器的反常运行状况。与此同时，记录异常状态首次被发现的时间，判决从子系统到系统层面异常状态的诱因。最后，来自于在轨航天器的实验数据被用来测试算法的性能，结果显示，所提出的方法对在轨航天器的异常检测取得了完美的准确性和有效性。关键字: 异常检测；LS-SVM；在轨航天器

3、1. 介 绍由于多种因素，例如直接辐射、大幅温差等，导致在轨航天器出现反常的运行状况，这将造成一些灾难性的情形，例如失控等等。因此，故障预测和系统健康管理(PHM)被应用于监控航天器的性能、检测故障、识别故障的根本起因和估计剩余使用寿命（RUL）是有必要的，同时也能提高在轨航天器的安全性并减少其故障时间。在航天器的PHM发展中，异常检测是一个核心问题，它旨在检测预先没有观察到的模式。通常情况下，有三种反常的运行状况【1】出现在航天器中，如下所示。1）点异常 如果个别的数据点不同于剩余正常的数据点，并且在航天器的遥测数据中认为是异常的，那么这个点被称做点异常。例如，在图1中，点p1位于正常区域边

4、界（红色线）的外部，由于和剩余正常数据点不同，因此是点异常。 图1 点异常举例 2）关联异常如果一个点在特定环境的地方异常，那么它就被称做关联异常。例如，在图2中，t1时刻的电压与t2时刻的电压相同，但是出现在不同的环境中，因此被认为是异常状态。图2 在一个电压时间序列中的关联异常t1 1）集体异常如果个别的数据点存在一个数据点集中，它们本身不能被称作是异常的，但是如果它们一起出现的点集被认为是异常的，那么这些关联的数据点的集合被称作集体异常。图3举例说明了集体异常。图3 集体异常举例。蓝色点是正常的，红色点是异常的虽然它们在预定义的上下界限内在本文中，我们所关注的是关联异常和集体异常，基于L

5、S-SVM提出了一个对在轨航天器异常检测的方法，它有着优越的学习、分类和概括能力。这篇文章的贡献如下所示：（1）本文中提出了一个基于LS-SVM的异常检测算法。（2）算法对一个在轨航天器进行测试，结果显示，所提出的方法对在轨航天器的异常检测取得了完美的准确性和有效性。论文的其他组成部分如下。在第2节中，对空间系统中异常检测问题的相关工作进行一个简单回顾。至于所提出方法的细节，包括数据采集和预处理，特征提取，特征选择，异常检测，这些将在第3节中阐述。在第4节中，将显示实验的结果。最后，结论和对未来相关工作的讨论将会在第5节中阐述。2. 相关工作在过去的几十年里，异常检测领域出现了大量的方法，例如

6、，一些研究员采用一个已定义的阀值对在航天器中进行检测异常。如果每个传感器的值都在预定义上下界限内，那么航天器的模块将会识别为正常的；如果某个传感器的值超出了预定义的阀值，那么航天器的模块将会识别为异常的，并且异常首次被发现的时间也将确定。虽然因为其简结性在航天器中应用这种方法检测异常很简单，但仍存在一定的局限性。首先，阀值很难被预定义；其次，在一些情况下，所有传感器的值都在预定义的阀值内，但在航天器中却可能存在关联异常和集体异常。因此，一些研究员采用一种自适应的方法来解决这些问题。例如，D.DeCoste等【2】提出了一种方法，在航天器系统的异常检测中自适应地改变极限值。另一些研究员使用基于模

7、型的方法对在航天器中进行异常检测，如果一个精确的、完备的模型和无限的计算能力是可行的话，那么这种方法将提供一个理想的性能。例如，J.Horvitz和M.Barry【3】明智地采用贝叶斯网络估计了每个传感器信息的重要性，然后当其在监控器上显示时给更重要的传感器提供更高的优先级。然而，在实践中，精确的、完备的模型和无限的计算能力都是不可行的。所以这种方法的应用存在局限性。与此同时，一些研究员采用专家系统，这是强有力的、灵活的，用于解决异常检测这类问题的知识来源于人类专家，例如，J.Durkin等【4】。然而，在准备一组关于航天器的精确的、完备的知识是很困难的，所以专家系统的应用也存在局限性。此外，

8、一些研究员采用机器学习方法来解决这些问题。例如，R.Fujimaki等【5】基于核特征空间和方向分布，为航天器提出了一种新颖的“知识自由”异常检测方法。在正常操作下获得一组遥测数据，然后从中选取正常的遥测数据用于建立了一个系统行为模型，从而通过输入数据和模型的比较来检测当前的系统状态。在这种方法中，他们把航天器系统中出现的异常现象看做因果关联的意外的变化，假设在系统内的显著的因果关联，在由一个核函数和一组数据构建的多维非线性特征空间中，将会以主成分趋势的方式出现。与此同时，基于数据挖掘技术、自回归模型和相关向量回归，他们为航天器【6】提出了一个异常检测的方法，以及在遥测数据中对每个时间序列构建

9、一个预测模型。然后，监控网络遥测数据，并通过检查概率密度进行异常检测。此外，M.Schwabacher等【7】描述了通过四种算法检测到的9种异常。四种算法采用了四种不同的对异常点的定义。Orca使用了近邻方法，定义了如果最近的邻点在数据空间上是远离它那么这个点是异常的。感应监测系统收集训练数据，然后用距离最近的点集作为异常状态的衡量。Gritbot从训练数据中得知其规律，如果数据点违反了这些规律则归类为异常点。一阶支持向量机（SVMs）将数据绘制到一个高维的空间中，其中大多数正常点都超平面的一侧，然后将超平面另一侧的点归类为异常点。由于这些对异常点不同的定义，不同的算法检测出不同的异常点。然后

10、，对它们描述的结果产生了四种无监督的异常检测算法，应用于两个火箭发射测试平台的数据。第一个测试平台采用航天飞机主发动机的历史数据。第二个测试平台使用的数据来源于NASA斯坦尼斯航天中心的一个实验性的火箭发动机测试站。虽然这些异常检测方法使用的现代推理技术很发达，但是它们也难以获得精确的模型和航天器系统的知识，也难以彻底的、有效的监控系统性能，再比如，SVM是相当耗时的。因此，这篇文章注重于改进的SVM对在轨航天器的异常检测，并基于LS-SVM提出了一种用于异常检测的方法这种方法有着优越的学习、分类和概括能力。3. 提出的异常检测方法 本文基于最小二乘支持向量机（LS-SVM）提出了一种用于在轨

11、航天器的异常检测的方法，它有着优越的学习、分类和概括能力。具体过程如下图4所示。 图4 提出的异常检测方法的流程图1）数据采集和预处理。在轨航天器获得的数据，例如电流、电压、温度、振动等等，在被送往地面远程测量和控制中心之前首先进行预处理，包括滤除噪声和去除非切削信号。2）特征提取。包含结合任何数值和分类值的特征被提取出来，使用统计学方法对传感器的信号进行识别。3）特征选择。使用主成分分析法（PCA）选取一个特征子集，对数据中所包含的的信息提供一个更加信息化的、强有力的表征，这是因为PCA对于维度减少和数据压缩通常是很有效的。4）异常检测。LS-SVM被用来鉴别在轨航天器的反常运行状况。与此同

12、时，记录异常状态首次被发现的时间，判决从子系统到系统层面异常状态的诱因。 在轨航天器中异常检测方法的细节将在以下子节中分别进行阐述。A. 数据采集和预处理 一个通用的空间系统由航天器，发射系统和地面中心组成。航天器包括主任务卫星，其他有效载荷卫星和中继卫星等等。发射系统包括发射范围，运载火箭和发射场服务等。地面中心包括任务管理中心，空间系统资产命令和控制中心，任务数据处理中心等等。为了成功的实施这些任务，必须实时地对航天器的性能进行监控。因此，航天器健康方面的数据和状态参数，被主航天器、其他卫星和遥测基础设施中的遥感控制中心获取。这些数据被收集，封装和传输到控制中心。此后，当遥测数据传输到地面

13、上时，它们首先被进行预处理，包括解码，去除非切削信号和滤除噪声等。预处理过程如下图5所示。图5 预处理过程B. 特征提取 在滤除噪声和去除非切削信号之后，使用表1总结归纳的统计学方法，从数据中识别和获取特征参数，包括均值、方差、均方根、偏态、峰值等等。表1 特征C. 特征选择 虽然所有的特征都有统计学的意义，但是涉及所有特征将导致建模出现令人不满意的计算性能。因此，对大多数相关特征子集的选取，对快速建立所需要的模型与可接受的计算性能非常有必要。主成分分析法（PCA）【8】是一个数学程序，它将多变量的数组转变成一个较小数目的称为主成分的不相关变量，从中选取一个特征子集，以提供对数据所包含信息的更

14、加信息化的、强有力的表征，这是由于PCA一般能有效的减少维度和数据压缩。给出一个输入变量的数据组，维度是D，其中i=1,2.,m，并且。PCA的目的就是将数据映射到一个k维空间，并使映射的数据有最大的方差，其中kD。一般解决问题的方法通过选取协方差矩阵对应的特征向量获得 （1）其中，是的一个特征值，是相应的特征向量。为了将数据映射到一个由方程（2）给出的k维空间中，需要计算前k个特征向量，并找出与k相关的最大特征值。 （2）其中表示与k相关的特征值的最大精度。当精度给出后，维度k和也与此同时被确定，i=1,2,.,k。然后，将k维向量命名为主成分，由如下公式决定 （3）其中U=【,.,】。通过

15、使用几个按特征值降序排列的特征向量，S中主成分的数目将被减少。D. 异常检测实质上，异常检测问题能够被看做是一个二阶分类问题，用以下形势的模型表示 （4）其中，表示一个固定的特征空间变换，b表示偏差参数。给定训练数据集，它包括N个输入变量，.,和相应的目标值,.,，其中，目标是找到w和b使得方程（5）中的平方和误差最小。 （5）新的数据点集x根据y(x)的符号来分类。有很多种方法去解决这个问题，例如，支持向量机【9】，这种方法通过将边际定义为决策边界和任何样本之间的最小距离的概念解决问题，在非线性分类、函数估计和密度估计等领域，它是一个解决问题强有力的方法论，也是最近导致很多其他基于内核学习方

16、法发展的主要原因。支持向量机的目标是使极限最大，同时使位于极限边界错误一侧的峰值点平滑，也使得以下的函数最小： （6）s.t. 其中正的实常数C被看做调优参数，它控制着松弛变量和极限之间的权衡，最小训练误差和控制模型复杂度之间的权衡。变量是松弛变量，对在正确的极限边界上或其内部的数据点定义，对其他点定义，对于任何归类有误的点。然而，这是一个二次规划（QP）问题。一般情况下它解决M个变量的计算复杂度是。因此，它是非常的耗时的。LS-SVM【10】定义了最小二乘代价函数，它将不等式约束替换为等式约束，这是一种有效的重构标准SVMS的方式；并且解决一个线性规划（LP）的问题而不是一个以双重拉格朗日形

17、势存在的二次规划（QP）的问题，这也使问题更加简洁化。一个二进制分类器的例子将如下方程（7）所示： （7）s.t. 其中是误差变量，是一个正则化参数，决定了最小化训练误差和平滑度之间的权衡。分类函数用以下对偶形势表示。 (8)其中，是核函数。4. 实验和结果为了构建模型，选择了航天器的两个组成部分，并且设置样本间隔为10分钟。在30天的正常运行情况下收集数据，一共是4320组样本。为了制作LS-SVM模型，粒子群优化（PSO）算法解决分类问题已经实现。用径向基函数（RBF）作为LS-SVM的核函数。一个LS-SVM分类器是专门为PCA算法提取出的特征向量准备的。10倍交叉验证方法被用来选择LS

18、-SVM的最佳参数（,）。误差的测量采用NMSE判据。最终，我们获得的最佳参数是（120,0.05）伴随着的交叉验证率是90.6%。一些结果如图6所示。（a）关联异常（b） 集体异常图6 结果（红色的点是异常的虽然它们在预定义的上下界限之间）5. 结 论本文主要讨论了对于在轨航天器异常检测的改进SVM，并基于最小二乘支持向量机（LS-SVM）提出了一个异常检测的方法，这种方法有着优越的学习、分类和概括能力。LS-SVM在基于PCA的特征提取上实现了异常分类，旨在找到一个最优转化使类内距离最小化与此同时类间距离最大化，以弥补SVM方法的不足。结果表明，所提出的算法对在轨航天器的异常检测上取得了完

19、美的准确性和有效性。然而，算法仍存在一些局限性，完成这项工作仍需要很多领域更深层次的研究。最重要的是，由于PCA对于处理非线性问题性能并不好，所以改进的基于PCA的特征提取方法需要进一步研究。作者非常感谢来自CASIC-AMC的工程师所给予的重大帮助。参考文献：1 V. Chandola, A. Banerjee and V. Kumar, “Anomaly Detection: A Survey ,” ACM Computing Surveys, pp. 172, Septemper 2009.2 D. DeCoste, “Automated learning and monitoring

20、of limit functions,” In Proceedings of International Symposium on Artificial Intelligence, Robotics and Automation in Space , pp. 287292, 1997.3 J. Horvitz, M. Barry, “Display of information for Time Critical Decision Making,” In Proceedings of 11th Conference on Uncertainty in Artificial Intelligen

21、ce, 1995.4 J. Durkin, D. Tallo and E. Petrik, “FIDEX: An Expert System for Satellite Diagnostics,” Space Communications Technology Conference, Onboard Processing and Switching, NASA Lewis Research Center, Cleveland, Nov. 1991.5 R. Fujimaki, T. Yairi and K. Machinda, “An Approach to Spacecraft Anomal

22、y Detection Problem Using Kernel Feature Space,” In Proceedings of The Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD), USA , pp. 401410, August 2005.6 R. Fujimaki, T. Yairi and K. Machinda, “An Anomaly Detection Method for Spacecraft Using Relevance Vector L

23、earning,” In Proceedings of The 9th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD), pp.785790, 2005.7 M. Schwabacher, N. Oza and B. Matthews, “Unsupervised Anomaly Detection for Liquid-Fueled Rocket Propulsion Health Monitoring,” Journal of Aerospace Computing , Information,

24、and Communication,Vol.6, pp. 464482, July 2009.8 M. Bishop, Pattern Recognition and Machine Learning. Springer,Singapore, 2006.9 N. Cristianini, J. Shawe-Taylor, An Introduction to Support Vector Machines. Cambridge University Press, 2000.10 J.Suykens, J. Vandewalle, “Least squares support vector machine classifiers,” Neural Processing Letters, Vol. 3, pp. 293300, 1999.