第4章 方差分析anova实验设计和分析.docx

上传人:b****7 文档编号:15668409 上传时间:2023-07-06 格式:DOCX 页数:15 大小:250.71KB
下载 相关 举报
第4章 方差分析anova实验设计和分析.docx_第1页
第1页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第2页
第2页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第3页
第3页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第4页
第4页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第5页
第5页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第6页
第6页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第7页
第7页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第8页
第8页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第9页
第9页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第10页
第10页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第11页
第11页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第12页
第12页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第13页
第13页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第14页
第14页 / 共15页
第4章 方差分析anova实验设计和分析.docx_第15页
第15页 / 共15页
亲,该文档总共15页,全部预览完了,如果喜欢就下载吧!
下载资源
资源描述

第4章 方差分析anova实验设计和分析.docx

《第4章 方差分析anova实验设计和分析.docx》由会员分享,可在线阅读,更多相关《第4章 方差分析anova实验设计和分析.docx(15页珍藏版)》请在冰点文库上搜索。

第4章 方差分析anova实验设计和分析.docx

第4章方差分析anova实验设计和分析

第4章方差分析(ANOVA)实验设计和分析

CatherinePotvin

4.1生态学问题

弄懂生态学问题需要将各种环境因子的影响分开,生态工作者用实验来解决这个问题。

不论在野外还是在控制环境条件下,可控实验都可以让生态工作者们只变化一个因子来检验其影响。

例如,生长箱能使生物体生长在完全相同的温度而不同的光周期的条件下,或相同的光强而不同温度条件下的实验成为可能。

在控制实验中,通常最希望的情况是环境‘背景’,即所有的影响因子,不是自由地变化,而是精确地得到控制,这样就能够保证在改变目标变量时,观测的反应不会受到其它因素的影响。

因而控制环境条件,例如使用生长箱和温室,成为植物生态学的一个常用的方法,如同动物生态学中使用的生长柜和水族槽一样。

本章第一部分,我要讲一下作为实验生态学基本工具的方差分析(ANOVA)。

本章重点放在实验设计上。

虽然人们一般认为生长箱会提供同一环境条件,但不论在一个生长箱内还是生长箱间都存在环境异质性(Lee和Rawlings1982;Potvin等1990a),因而能够充分处理环境异质性的实验设计将在本章中述及。

尽管我的论述主要是以生长箱实验为基础,其原理在其它类型的控制或野外环境的实验研究中同样适用(第5,15和16章)。

我还要讨论错误实验设计的代价。

本章应视为实验设计的起步点,这个起步点就是要考虑各种影响因素。

实验者通常进行的实验比这里展开的要复杂。

但是一旦懂得了基本原理,讨论各种实验设计就相对简单一些。

更详细的论述请见Cochran&Cox(1957)和Winter(1991)。

4.2统计问题:

环境变化与统计分析

正如Underwood(1997)建议的一样,生态实验设计的第一步是建立一个线性模型使研究者能够将感兴趣的变量(因素)独立出来。

由于实验设计支配误差项,建立线性模型取决于所研究的因子以及具体的实验设计。

在任何一个实验开始时,最基本的是要检验空间与时间变化的格局。

实验设计为处理这类无其它办法可控制的变异性提供了办法。

因而,一个好的实验设计会减少实验误差。

检验不同的实验设计有助于选择合适的设计。

并且将与各种变化来源有关的自由度清楚地分开。

因而选择正确的实验设计对防止类似假重复和相互干扰的问题来说至关重要(Hurlbert1984)。

本章所讨论的内容要求读者对方差分析(ANOVA)有一定的基础知识,从而我可以讨论一些方差分析中不太常见的方面。

方差分析统计处理的细节可见Sealer(1971)。

方差分析(ANOVA)使用抽样数据来检验关于总体的假设。

基于特定线性模型的方差分析将方差分配到各影响因子(通常是处理)。

一个因子可以划分成任意数目的等级(Sealer1971)。

线性模型中描述数据的参数可由一些技术如最小二乘法或最大似然值等方法来估计。

传统上用于ANOVA的最小二乘法估计值将观测数据与期望数据离差的平方和最小化(Sealer1971)。

在最小二乘法分析中,如果数据组是平衡的(即每一分析组(cell)观测数相等),则离差平方总和能很容易被分解为实验设计中各因子所分别贡献的平方和(SS)。

离差,作为余值则是观测值与均值之差。

这种结果是具最小方差的无偏估计值,这是估计值的上佳性质(Winter等1991)。

均方(MS)是每自由度的平均变异,由平方和除以自由度(SS/df)得出。

在此意义上,均方和统计方差等价。

每一个计算出来的均方都有一个相对应的期望值,表4.1表示一个均方的期望值是方差成分的线性组合。

在ANOVA中假设检验所依赖的统计量F,由两个均方的比值得出。

因而,探测兴趣所在因子的影响概率依赖于正确使用误差项。

表4.1二因子方差分析(ANOVA)*的期望均值平方与F-比值

影响期望均方F-比值

A

Ai

MSA/MSe

Bj

MSB/MAe

ABij

MSAB/MSe

余值(误差)

B

Ai

MSA/MSAB

Bj

MSB/MSAB

ABij

MSAB/MSe

余值(误差)

*A)固定影响分析模型,B)随机影响分析模型

误差项的重要性可由下例说明:

ANOVA的基本理论承认两类影响:

随机影响与固定影响有本质上的区别。

我们可将一个随机因子的水平视为从一个大的确定的集合随机抽取的,而固定因子的水平则是由实验者特意选取的。

从生物学上而言,影响是固定的还是随机的在进行推论上是重要的。

如果影响被认为是固定的,其研究结果就不能推广到研究水平以外。

因为所检验因子的水平是特意选择的。

如果要将一个处理因子推广到其它水平,该因子的影响就一定要被认定为是随机的。

增加大气中CO2浓度的研究为固定因子影响提供了一个清楚的例子。

研究者通常比较当前CO2水平(350ml/l)的影响与预测的21世纪中期的倍增浓度(650ml/l)的影响(研究者通常将当前CO2水平(350ml/l)与预测的21世纪中期的倍增浓度(650ml/l)的影响进行比较)。

在这些实验中,人们并不企图将结果扩展到其它的CO2浓度。

然而,如果实验着重于Arabidopsis(拟南芥属)各种基因型对升高的CO2浓度的反应,最可能的是这些基因型从代表Arabidopsis各种基因型的种群随机选出,所以基因型影响应是随机的且实验的结果可以扩展到整个Arabidopsis的各种基因型。

当数据组是平衡的,即该数据组的每一分析组均具有相同的样本大小,不论因子是固定的还是随机的,其平方和与均方的计算均是一致的(Harr1986)。

但是均方的期望值是不同的,这一点非常重要,因为F比值是由均方期望值决定的。

最简单的例子就是由表4.1所表示的双因子方差分析模式。

在附录4.1中,我们给出了方差分析的SAS(SAS研究所,1989ab)计算机程序。

在固定模型中,每一因子的均方期望值是误差方差与该因子的恒常影响之和。

因此,用于计算F值分母的合适均方总是误差均方。

在随机模型中,对每一主要影响均方的期望值是误差方差、相互作用方差以及检验因子影响方差之和。

因此,对主要因子的F-检验要用相互作用均方为分母,而相互作用影响则要用误差方差为分母来检验。

在三相(three-way)(或更高)随机,混合或固定阶乘(Factorial)模型中,作为F-检验用于分母的常常是一些均方值的组合(Winter等1991)。

由于人们常用的统计软件一般默认用误差方差来衡量所有因子,我在这里要强调均方期望值在确定适当的显著性检验所起的重要作用。

不管是否合适,软件的默认配置仅对固定模型有效。

本章剩下各节将展示一些不同的实验设计并给出适当的误差项,我将着重讨论选择错误的误差项所能导致的分析偏差。

4.3统计方法:

设计实验

数据分析取决于实验设计本身以及如何将各感兴趣因子的各水平分配到各实验单元。

一般来说,实验误差越小,设计就越有效。

设计实验还涉及到选择的样本大小以及实验在时间、空间上的设置。

大量不同的标准实验设计已经存在,每一种都跟着一个数学模型和分析方法。

这里,我只讲两种这类设计,以及它们各自如何对特定变异格局进行处理。

这些设计在生态实验中很典型。

处理各种特定问题的其它设计请见Cochran和Cox(1957),Winter等(1991)以及Underwood(1997)。

在控制实验中,不同实验单元接受不同水平的处理因子。

由此假定实验单元间的差别代表这些因子水平的区别(Hurlbert1984)。

在不同实验单元上随机分配因子水平和处理重复是一个良好实验设计的基本保证。

罗纳德.费舍尔爵士(1935)就是随机化的坚定鼓吹者。

他令人信服地指出随机化是对抗变异来源混乱的保证。

假定我们要比较三种植物的光合作用,且取样安排在早10点到下午4点的3个两小时时间段内。

一个好的设计会随机地将各物种分配到每一取样日的不同时间段内。

错误的设计会系统地把种A放在上午量测,种B放在中午而种C放在下午量测。

这样,各种光合作用率就会与每日取样时间相干扰,而统计检验推论无法告之导致光合速率不同的原因是由于物种不同呢,还是由于取样时间的不同。

好的实验设计的第二个基本保证是重复。

费舍尔(1971)指出,重复有两种目的:

“在不同样地重复实验处理在于它是一种提高实验比较精度的方法,其主要的目的是提供误差的估计,这是其它办法无法替代的,这种误差估计是用于确定比较显著性所依赖的。

”Hurlbert(1984)引入“假重复”一词并定义为“使用推论统计时利用实验数据来检验处理因子影响,而实验中处理没有重复或重复在统计上不独立。

”Hurlbert文章的核心强调实验布局的假重复。

然而,通常发生的是实验布局很合适而在数据分析上出问题,因为研究者无法判断实际的实验单元或重复,因而使用不合适的误差项。

4.3.1区组

将相似实验单元组成区组能调节环境异质性并提高统计效力。

与随机主张一致(Fisher1971),处理因子的每一水平都要在每一区组内随机分配给不同的实验单元。

在随机区组设计中,实验单元分配到各环境相对恒定的区组中。

区组内各实验单元的差异提供了对处理影响的量测,而区组的重复提供处理的重复。

这种设计使我们能够将随机离差分配到处理因子项,实验误差项以及不希望的环境(区组)影响项。

最终实验误差项会比较小,从而该设计比完全随机设计更有效。

在传统随机区组设计中,处理因子的每一水平随机分配给每一区组中的每个重复项。

每一区组内的实验单元数因而与研究的因子水平数相等。

这种设计因此可视为ANOVA的一种特别形式-区组内无重复。

从而其模型不包括相互作用项。

随机区组设计可由下面的线性模型描述:

(4.1)

式中

处理i水平下的第j实验单元的反应,

是该反应的总体均值,

处理i水平的影响,

是j区组的影响,

是随机方差或误差。

对此设计的SAS程序在附录4.2中给出。

注意均方误差项与区组和处理相互作用项一致(Sokal和Rohlf1995,pp328,347)。

随机区组设计的期望误差均方(

)与二因子ANOVA的相互作用均方期望值相对应。

类似的完全随机设计可描述为:

(4.2)

对比公式4.1和4.2进一步展示出如果区组设置合理而且各区组有不同的环境条件时,βi项则会由于环境异质性从误差项中移出。

其结果是:

误差项将减小,使得随机区组设计比完全随机设计更容易检验出显著的处理影响。

传统模型,即公式4.1,无疑假定处理与区组间相互作用不存在。

Underwood(1997)和Newman等(1997)都批评在野外实验中有此假定。

他们争辩说相互作用的存在会使得对处理影响的检验无效。

这种争辩并不新鲜,Kempthorne(1975)说当相互作用存在时,关于主要因子的总体陈述将没有多大意义。

然而,正如Sokal和Rohlf(1995,p336)在许多例子中清晰阐明的一样,尽管存在相互作用,对主因子影响的总体显著性的检验可能是重要的。

这就值得我们复习一下Sheffé(1959)来弄清楚。

作者认为,一个没有相互作用的案例是个能够简单解释的可加性案例:

不管因子B的影响,因子A将同等地影响所有观测值。

然而,如果相互作用的因子存在,因子A的影响将随因子B的变化而变。

在受控环境下,区组常由发芽盘、塑料容器等组成,区组与处理间无相互作用的假定大体成立。

在其它情况下,如野外操作实验中,处理与区组的相互作用是明显的。

但是,正如Sheffé(1959p95)表明的那样,相互作用的存在并不一定使随机区组设计无效,反而为相互作用加上一道防止误解的说明。

设在不同地点(区组)比较两个生物种,并发现它们在统计上有显著差异,尽管物种与区组有相互作用。

我们可得出这样的结论:

所有区组平均,种A比种B表现更好,尽管在有些区组中观察到相反的现象。

使用每单元一个观测值的随机区组设计的一个潜在缺点是处理缺失数据较为困难。

任何一个实验单元的死亡或丢失会导致实验设计的不平衡。

分析丢失单元数据的主要困难在于没有未观测组合的信息可以利用(Shaw和Mitchell-Olds1993)。

我们可以用临界值(Marginalmeans)估计丢失值绕过这个问题(Mead和Curnow1983)。

临界值是双因子数据表中行或列的均值。

如果有单元的重复,就有可能估计出区组与处理间的相互作用。

在这种情况下,适用的统计模型是:

(4.1)

式中

处理i水平与j区组的相互作用影响,其它项与式4.1相同。

本设计的SAS程序在附录4.3中给出。

Dutilleul(1993)指出在随机区组设计中,如果区组被认为是随机的,那么处理与区组的相互作用则被用于检验处理影响的误差项。

而后一种随机区组设计(指单元内重复)要比传统设计具有明显的优势。

如在实验中,有一些死亡或其它原因丢失实验单元,数据不平衡就不会影响高阶分析。

分析这类数据的一个简单方法就是计算每一单元的均值。

这将使数据重归平衡且不需增自由度。

然后这些均值用作观测值再用公式4.1进行分析。

重要的是应该认识到虽然区组的建立是一个减少误差的有效工具,但也有其代价。

例如,在随机区组设计中,方差分配给三方面(处理、区组、误差)而不是两方面(处理和误差),从而降低了误差的自由度。

如果区组建立不适当且没有和环境异质性相对应,则可能还不如完全随机设计有效。

最佳设计的选择以及与环境异质性相对应的区组的有效性取决于对实验地区环境异致性的充分了解。

如果区组内各实验单元间变异小于区组间变异,区组则较有效。

适当的区组会把生长在最贫瘠环境下的实验单元编入一个区组,而生长在最佳环境的编入第二组,如此类推。

每一水平的处理因子在最差和最佳条件下均会分配到,从而可以得到处理因子在不同水平间真实差别的非常精确的估计(Mead和Curnow1983)。

使用区组的另一个缺陷是环境变化的尺度可能与实验尺度不一致。

如推车和生长盘的大小。

图4.1展示了一个随机区组设计中最佳和最差的区组设置。

将区组置于横跨不同环境条件的地方,显然是区组选择的一个错误。

这个关于区组使用的讨论是对温室和生长箱实验而言的,而本章展示的设计对野外实验亦是合适且有用的(见Dutilleul1993)。

在野外,在分配区组时尤其要小心。

在区组设计中,处理应置于自然生境斑块之内,因而它们经受相同的环境条件,同时,不同水平的处理应该彼此距离足够远以使它们能相互独立。

681

4.3.2生长箱间的变化,分离样方设计

679-endof4.3.2通常,不同处理因子的性质决定它们要放在不同尺度上。

例如,温度或大气CO2浓度必须施于整个生长箱水平上,而物种或土壤养分可在生长箱内的生长盆水平上变化。

在控制实验中,前一类因子称为箱间因子,因为不同水平上的比较需要使用一个以上的生长箱。

换句话说,生长箱而非生长盆才是实验单位。

如果处理因子施于整个生长箱,生长箱水平的重复就是必须的:

用于检验生长箱间因子的误差项则是同处理水平生长箱间之差异(Winter等1991,Underwood1997)。

因此,如一个生长箱间因子有两个水平,则至少需要4个生长箱(Potvin和Tardiff1988)。

另外,尽管每个生长箱内有100株植物,箱间因子分析的自由度只有3个,而不是399个。

这是由于生长箱内实验单元间的变异不对箱间处理因子提供任何信息。

地点和财政条件通常限制了生长箱使用的数目,因而检验箱间因子的自由度通常很小,如果重复是不可能的,如湖泊(例如,Sehindler1974)或流域(如Likens等1977)研究,或是出奇的昂贵,如自由大气二氧化碳实验,“不可重复处理的实验可能是唯一的或最好的选择”(Hurbbert1994)。

下一步,我从类型

误差的角度来检验一下误用统计工具的代价,这种误用导致数据效用的假感觉。

图4.1比较处理因子6个水平(即向日葵的基因型)的随机区组设计的实验配置:

A)合适的B)有环境梯度出现时的错误配置;C)合适的D)当环境有斑块变化时的错误配置

生态实验通常包括箱间和箱内两种因子。

例如,不同基因型对温度的反应,这里,温度是箱间因子而基因型是箱内因子。

这类实验可用分离样方设计来进行分析。

在分离样方实验中,每一处理的一种水平放在大样方,而第二个因子的所有水平则分配给大样方内的亚样方。

两种不同的随机过程用于处理的分配。

主样方处理因子各水平先随机分配给各生长箱,然后每一生长箱再分成若干亚样方,在第二个随机过程中,箱内因子各水平再分配给各亚样方。

191在这里,我用一个理论上的分离样方实验的例子来比较两个水平的大气CO2浓度和6种养分浓度对植物生物量生长的影响。

本实验的布局如图4.2所示,该布局在许多生长箱实验中有代表性。

比较CO2浓度的单元是每一整个生长箱,而养分水平则在每一个生长箱内进行比较。

描述由这类分离样方设计获得的数据的一般线性模型是:

式中

是i水平CO2浓度(箱间因子)的影响,

是主样方误差项且指明k生长箱

水平的影响。

是j水平养分浓度的影响(箱内因子)。

是i水平CO2浓度和j水平养分相互作用的影响,

是亚样方的误差项。

其它参数同式4.1。

表4.2是用此模型对一组人造数据进行分析的结果;本设计的SAS程序请见附录4.4。

分离样方ANOVA的方差分为两部分,而且分析会将两个误差项分开:

主样方误差和亚样方误差。

用于检验CO2影响的误差项是生长箱间的变异,而养分的影响和生长箱间的变异相互独立。

因此,用于检验养分影响的误差项则由同一生长箱内亚样方间的变异决定(Winer等1991)。

相互作用项

与主样方变异相独立。

图4.2展示的经典分离样方设计是以每单元(cell)只有一个观测值为基础的。

如同随机区组设计一样,分离样方ANOVA也可以扩展至允许重复亚样方的分析组。

分离样方设计的主要优势在于对亚样方因子有相对较高的统计效力。

如果主样方重复少,得到主样方统计的显著差异可能比较困难。

然而,用于检验亚样方相互作用影响的自由度可能足够多以满足有效的统计检验。

191

一个大豆生长实验的分离样方的分析结果(Lee和Rawlings1982)使我们能够对最通常,恕我争辩,且最有损害力的误差进行定量分析,这类误差常在生长箱实验的统计分析中出现。

当一个包括有箱内和箱间因子实验的分离样方特征被忽视时,人们常在分析中错误地将亚样方的余值作为分析主样方因子影响的误差项。

比较主样方和亚样方误差MS的大小即可说明使用亚样方误差会低估真实误差。

在上述大豆实验中,两个误差相差有400倍之大(表4.3)。

图4.2包括作为亚样方因子的6个养分水平和作为主样方因子的CO2浓度的分离样方配置的例子。

每一重复区组包括两个生长箱,每一生长箱是一个主因子。

养分水平由数字1-6表示而CO2浓度由白色和暗色表示。

每一生长箱分为六个亚样方,而生长箱内因子在其中随机分配。

表4.2A人造生物量数据B分离样方ANOVA:

CO2是主样方因子,养分是亚样方因子

A

养分

CO2123456

35013.319.924.533.638.941.4

35012.420.522.129.436.942.3

67515.822.426.938.044.849.2

67513.921.027.535.946.849.0

B

变异来源SSdfMSFP

主样方

CO2130.671130.6742.959.0225

主样方误差6.0821.93.193.196

亚样方

养分3050.445610.09386.213.001

养分×CO235.4757.094.491.021

亚样方误差15.80101.58

因此,当亚样方误差误用于检验主样方因子的影响时,该分析会使人为扩大误差自由度和减小误差MS的情况进行。

同样的事在查看表4.2时也会观察到。

毋庸置疑,这种将亚样方误差当成主样方误差的错误可对ANOVA的结论产生巨大影响,导致

类统计结果错误。

表4.3A)大豆实验中组合分离样方方差分析的均方,该实验存在两个主要影响的对比:

生长箱和试验(trial)B)两个误差项的比例差异*

变异来源自由度植物高叶面积子叶长鲜重干重

A

主样方

生长箱350.05197.7239.30320.6348.10

试验(trial)348.54310.8336.01464.5448.10

主样方误差4125.72127.6750.07211.6331.43

亚样方

推车299.7216.905.0430.229.14

生长箱×推车697.9314.594.7524.104.08

试验×推车690.481.090.272.580.47

生长箱×试验×推2920.551.130.262.380.43

亚样方误差39600.290.710.151.620.24

B

比例差异433.5179.8333.8130.6131.0

*引自Lee与Rawlings(1982)

最近,Underwood(1997)对分离样方设计做了一个讨论,他强调由于处理因子不独立于样方影响而产生的困难,并建议分离样方实验设计应被放弃。

正如我们在前面随机区组设计的讨论中所见的一样(4.3.1节),样方与处理之间相互作用的出现确实使结果解释复杂化,从而使对处理影响的检验只能在样方的均值水平上进行。

然而,我觉得这类相互作用的问题比起在设计中广泛的误用误差项而处理却是在另一个空间尺度的问题来说还是一个小问题。

正如Lee和Rawligs(1982)非常清楚地讲到,生长箱实验通常主导分离样方设计的使用。

4.4总结

本章依赖于经典实验设计来处理生态学实验中的环境异质性问题。

作为进行控制实验最基本的第一个步骤,我建议不论是做野外工作的还是使用生长箱的生态工作者都要进行一下踏查或一个同一性实验以记录环境的变异性。

这里讲到的技术很基本,且可被结合到许多不同的实验设计之中,或能与大量分析技术联合使用。

例如,区组设计在本书其它几个章节也被提及(如第5,6,15和16章)。

626这是由于区组,就是将在同样环境条件下的实验单元组合在一起,是一个控制意外变异来源的有效办法。

624区组的潜在代价,即减少误差的自由度,应该牢记。

在组合的实验单元与环境异质性格局不相符的情况下,完全随机设计由于其较高的自由度可能更为有效。

我已经考虑过环境异质性不只是空间函数这一问题。

年度变化对生态学者来说非常熟悉。

早些时候,一篇关于可控环境中变异性的文章指出生长条件在时间上的变异可以与其在空间上的变异一样大(Potvin和Tardif1988)。

在野外和可控环境实验中,考虑实验在时间上的重复为真重复是可能的。

这种重复可为实验设计解决点难题。

比较处理因子的两个水平可以通过用两个生长箱或两块地在两个连续时间实验进行。

不论是在空间还是在时间维数内,重复对提供误差项是必要的。

626,623

生长箱实验的一个长期的错误是倾向于在生长箱间轮换实验植物以弥补生长箱重复不足。

然而这种方法忽略了这样一个事实,即检验箱间因子只能通过不同箱间的比较,箱内植物间的变异不是检验箱间因子适当与否的误差项。

如果重复不可能实行,最好不要对数据进行统计推断,更不要用错误误差项来进行统计分析计算。

鸣谢:

我将此文献给J.Antonovics博士和H.Wilbur博士。

在我博士生期间,他们对统计分析的追求使我对实验设计感了兴趣。

此章中的概念大多源于与S.Fawdif博士的讨论。

NGotell博士在读完本章稿时提供了许多有用的建议。

SSc

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 经管营销 > 人力资源管理

copyright@ 2008-2023 冰点文库 网站版权所有

经营许可证编号:鄂ICP备19020893号-2