powerVM实战手册.docx
《powerVM实战手册.docx》由会员分享，可在线阅读，更多相关《powerVM实战手册.docx（51页珍藏版）》请在冰点文库上搜索。
powerVM实战手册
IBMPowerVM实战手册，第1部分:
前言及设计
辛旻，拥有西安交通大学学士学位，上海宝信系统服务部技术支持中心IBM主机技术路线负责人，有从事AIX工作的多年实践经验，曾公开发表过《AIX操作系统的内存调度机制剖析》一文,对IBMpsystem平台有较为深入的掌握，已通过8门AIX相关认证，同时获得CATE高级认证。
简介：
本文结合作者几年来对IBM虚拟化微分区的成熟经验，并以宝信实验室的2台55A的实际部署为例，论述了IBM的PowerVM虚拟化服务的详细过程，对有兴趣和开始实施PowerVM的同仁相信有很大的帮助。
前言
为什么服务器需要虚拟化
∙可以有效控制服务器数量，提高资源利用率。
利用IBM的PowerVM技术，我们实现了1台p570划分20个分区，如果实际购买机器，至少需要20台p510。
∙节能减排，降低投资.
显而易见，服务器虚拟化可以省电省散热省空间，大量减少PCI卡等等投资。
拿宝信实验室举例，1台p55A能顶掉原来10台p52A，空间节省75%，电节省80%，散热减少80%，投资也至少减少70%，长期下来节能效果相当惊人。
∙简化服务器的部署、管理
利用IBM的PowerVM技术，可以使得服务器的环境完全一致，使得加上NIM安装技术的成功率大大提高，可以在短短60分钟内，部署8台以上的虚拟服务器，由于APV和IBM硬件控制台（HMC）密不可分，也就可以很方便地实现了这些虚拟服务器远程管理，包括启停、调整系统资源等等。
∙模拟各类操作系统和各个资源不同的机器，实现良好的学习测试实验环境。
对于IBM的PowerVM技术，目前支持AIX5.3、AIX6.1，部分Linux，可以模拟多台从0.1CPU,128MB到小于物理机器资源的机器。
PowerVM的主要组成部分及概念
最新的PowerVM是在基于IBMPOWER处理器的硬件平台上提供的具有行业领先水平的虚拟化技术家族。
它是IBMPowerSystem虚拟化技术全新和统一的品牌（逻辑分区，微分区，Hypervisor，虚拟I/O服务器，APV，PowerVMLx86，LivePartitionMobility）。
大家对2004年即出现的APV应该记忆犹新，随着Power6的推出和i和p系列的合并，APV也发展成为PowerVM。
PowerVM有三个版本，分别是PowerVMExpressEdition，PowerVMStandardEdition，PowerVMEnterpriseEdition。
对于Power6，PowerVM新支持MultipleSharedProcessorPools功能和LivePartitionMobility功能。
下面就其主要部分介绍一下，以方便后面实战部分的阅读。
微分区（Micro-Partitioning）
微分区改变了POWER系列服务器的整个规划结构。
实施APV后，可以在资源分配方面提供更大的灵活性和细分能力。
添加处理器的部分处理能力而不是整个处理器，还能够帮助客户更好地利用服务器。
使用工作负载管理器（WLM）和PLM有助于更好地优化这些资源。
现在，分区要么是专用的处理器分区（按整个处理器的增量来分配处理能力），要么是共享的处理器分区（使用微分区）；不会出现两者的组合。
使用微分区时，可以将一组处理器分配到共享处理器池（SPP），然后使LPAR可以（根据在池中获得的容量和优先级）使用这些处理器。
此时，服务器上仅有一个SPP可用，但多个LPAR可以共享这些资源。
虚拟I/O服务器
APV功能部件的关键组件之一是虚拟I/O服务器。
该设施可以提供I/O虚拟化和网络资源虚拟化。
虚拟I/O服务器是一个分区，用于提供I/O资源共享，还用于为一个或多个客户机LPAR托管虚拟盘、光存储和SEA。
虚拟LAN
虚拟LAN不是APV的一部分，它只需要POWER5系统上有AIX5LV5.3或支持的Linux版本。
HMC用于定义虚拟LAN设备，从而使LPAR通过内存而非以太网卡连接。
一个LPAR可支持多达256个虚拟LAN，每个虚拟LAN的传输速度都在1到3Gbps之间。
在这里，性能是值得关注的一点。
如果在分区之间使用物理LAN连接，则适配器以LAN的传输速度运行，而不是以通常快许多的内存传输速度运行。
由于适配器能够自行处理其任务，所以需要的处理器开销非常少。
如果使用VLAN，数据传输／交换速度会更快，因为两个分区之间基本上是内存传送。
但是，这种传输需要处理器的参与。
这两种传输方式的速度可能各有不同，视具体情况而定。
但总的来说，VLAN比物理互连要快。
共享以太网适配器
SEA是一种与APV一起提供的POWER5中的新服务，它支持多个分区共享虚拟I/O服务器上的物理适配器。
它实际上起着第2层网桥的作用，在客户机中的虚拟以太网适配器和主机服务器中的实际适配器之间路由数据。
网络适配器共享是通过虚拟I/O服务器上配置的SEA实现的。
通过虚拟I/O服务器，数据或者在实际网络中流动，或者经由Hypervisor流向实际分区。
虚拟SCSI
在I/O方面，使用虚拟SCSI服务器共享磁盘和适配器。
虚拟SCSI服务器运行在虚拟I/O服务器上，它能够支持您在一个物理磁盘上分配多个逻辑卷（LV）。
然后，您可以将每个LV导出到不同的客户机LPAR。
客户机LPAR会将这些LV视为常规SCSI磁盘，而它们实际上可能是通过光纤连接到服务器。
例如，您可以使用一个146GB磁盘驱动器，将它划分为3个45GbLV并将它们用作3个不同LPAR的引导磁盘。
总的来说，这些概念相互独立。
为便于后面阅读和实践，我们主要弄清2个大的概念：
微分区和VIOserver即可，以下是我个人的白话理解：
微分区可以理解成可以小于1个CPU并和其他分区充分共享CPU的LPAR，内存的使用和LPAR没有什么不同。
它可以使用VIOserver共享出来的网卡和存储，也可以不用。
VIOserver是一个特殊的分区，负责共享I/O（网卡和存储）供其他分区使用。
不仅仅是微分区，实际也可以供一般LPAR使用，只是考虑到性能的原因，一般不这么做。
其中网卡通过实际网卡通过SEA勾连转换为共享虚拟网卡，通过虚拟LAN和各个分区连通，同时使得各个分区可以通过共享虚拟网卡的桥接与外界联系。
共享存储是通过设置虚拟SCSI卡vhost，可以把VIOserver的lv或磁盘，（新powerVM还可以包括文件）映射给vhost，实际vhost对应到其他分区就是一块SCSI卡，可以供其他分区使用。
实验环境说明：
机器一览表
设备名
配置
备注
ss55aa01
IBMP55A（机架式）：
4*1.9GHz，32GB内存，底板集成双口双绞线网卡，1×双口千兆双绞线网卡，1×双口4GbHBA卡，1×显卡，HDD：
2*146GB15Krpm，DVD-ROM,内置DAT72带机，冗余电源，AIX5.3，2×异步卡，HMC,虚拟分区
微分区主服务器
sse4km300a01
Eternus4000Module3000
ET4KM300rackmount;4GBCacheMemory（2x1GBx2CM）;FC（4Gbps）hostinterface（4-portx2CA）E4KM300;146GB/15Krpmdiskdrivesiglex13;500GB/7.2Krpm（single）X4;
磁盘阵列
ss210ea01，ss210eb01
BrocadeSilkworm210E（机架式机箱，带快速上架导轨）
16块4G短波光纤模块，16口激活，带相应管理软件
SAN交换机
实验环境示意图
规划设计
规划前的需求调研
在做规划之前，或者说一个准备实施微分区的服务器来说，至少需要调查了解各个分区系统的以下相关情况，这些都可能影响到微分区的配置和划分。
∙各个微分区负载应用特点
如CPU、内存、网络等特别是I/O的负载的侧重。
∙各个微分区网络需求
包括网段的划分、路由、网络设备的冗余等等在系统上线前的状况和可提供条件，以及实施运行过程中可能出现的变更。
∙各个微分区存储需求
包括存储的大小，性能的要求，以后扩展的需要。
微分区的设计
本文由于是实验室环境，性能要求不高，所以网卡和HBA卡设备都由VIOserver共享出来。
实际使用时，对于性能要求较高的微分区，网卡和HBA卡可以单独划分给某个分区。
当然需要设计和购买相应的卡。
1.分区规划
考虑到实验室实际情况，本次实施只划分了10个微分区，但实际可以更多，可以事后再追加。
分区名
名称
ss55aa01
vioserver
ss55aa11
微分区1
ss55aa12
微分区2
ss55aa13
微分区3
ss55aa14
微分区4
ss55aa15
微分区5
ss55aa16
微分区6
ss55aa17
微分区7
ss55aa18
微分区8
ss55aa19
微分区9
ss55aa20
微分区10
2.CPU的设计
这些微分区为开发测试分区，开发测试的人员为同一批人，所以不太可能所有的分区都同时繁忙，所以做了如下设计：
分区名
min
desire
max
v_min
v_desire
v_max
share_mode
权重
ss55aa01
0.3
0.5
1
1
2
4
uncapped
128
ss55aa11
0.1
0.3
4
1
2
4
uncapped
64
ss55aa12
0.1
0.3
4
1
2
4
uncapped
64
ss55aa13
0.1
0.3
4
1
2
4
uncapped
64
ss55aa14
0.1
0.3
4
1
2
4
uncapped
64
ss55aa15
0.1
0.3
4
1
2
4
uncapped
64
ss55aa16
0.1
0.3
4
1
2
4
uncapped
64
ss55aa17
0.1
0.3
4
1
2
4
uncapped
64
ss55aa18
0.1
0.3
4
1
2
4
uncapped
64
ss55aa19
0.1
0.3
4
1
2
4
uncapped
2
ss55aa20
0.1
0.3
4
1
2
4
uncapped
2
权重越高，是当CPU不够分配的时候，按此比例来分配，即2个学习分区的权重最低，分配的CPU会最少。
注意，此处VIOserver的CPU也为共享，优先级最高，基于以下原因：
oCPU数量有限，专有CPU至少为1颗，有些浪费。
o这是由于该机器为实验室用途，性能要求不高，对VIOserver的压力不大。
o此powerVM实际为power5的APV，不能实现power6的MultipleSharedProcessorPools功能,设为专有CPU后，将不能自动调整实际CPU的使用。
o实际使用过程中，如果CPU宽裕，对性能有要求，建议采用专有CPU模式。
另外，设计虚拟CPU时需注意，由于在微分区实际使用时，实际可使用物理CPU的个数受限于虚拟CPU的个数，即虽然你物理CPU的最大值为16，但如果虚拟CPU个数为4，实际能使用的CPU个数即为4，所以其最大值最好接近于整个机器的物理CPU个数。
3.内存的设计
考虑到实际情况，前8个分区为开发测试环境，后2个为学习环境，具体调整根据实际运行后再修正。
分区名
min
desire
max
ss55aa01
512M
768
1G
ss55aa11
1G
3G
6G
ss55aa12
1G
3G
6G
ss55aa13
1G
3G
6G
ss55aa14
1G
3G
6G
ss55aa15
1G
3G
6G
ss55aa16
1G
3G
6G
ss55aa17
1G
3G
6G
ss55aa18
1G
3G
6G
ss55aa19
128M
512M
1G
ss55aa20
128M
512M
1G
4.网络的设计
由于开发测试也需要模拟运行环境，有可能2个网段，并可能做HA，所以做以下设计：
▪2个网段4块的千兆网卡ent0-ent3
▪可以互联也可以外部连接其他测试机。
▪ent0，ent1一个vlan，ent2、ent3一个vlan。
以下为VLAN号
所有微分区网卡可设计成一样，当然也可不同:
SCSIID
VLAN
IEEE802.1q兼容适配器
访问外部网干线优先级
连接外网
4
1
无
无
否
5
1
无
无
否
6
98
无
无
否
7
98
无
无
否
由于这些微分区作为开发测试环境的网络负载不是很高，且由于此55A仅2个内置网口，2个外置网口，而微分区的网口需求多达40个，只能采用VIOserver来设计网络需求，也同时有力佐证了PowerVM的好处。
存储的设计
这里可以看到，每个微分区的SCSI存储卡实际是可以对应VIOserver上的profile里一个虚拟SCSI卡，即VIOServer操作系统里的vhost。
分区名
微分区SCSIID：
2
微分区SCSIID：
3
ss55aa11
111
112
ss55aa12
121
122
ss55aa13
131
132
ss55aa14
141
142
ss55aa15
151
152
ss55aa16
161
162
ss55aa17
171
172
ss55aa18
181
182
ss55aa19
191
192
ss55aa20
201
202
考虑到前6个分区会安装数据库，临时性的文件较多，设置100G的tempvg，可以根据今后实际情况加以调整。
分区名
rootvg1
rootvg2
datavg
tempvg
ss55aa01
139G
139G
ss55aa11
20G
20G
50G
100G
ss55aa12
20G
20G
50G
100G
ss55aa13
20G
20G
50G
100G
ss55aa14
20G
20G
50G
100G
ss55aa15
20G
20G
50G
100G
ss55aa16
20G
20G
50G
100G
ss55aa17
20G
20G
50G
ss55aa18
20G
20G
50G
ss55aa19
20G
20G
50G
ss55aa20
20G
20G
50G
VIOserver的设计：
1.磁盘和VG规划设计：
由于通常rootvg对磁盘读写性能要求不高，为了便于管理，将rootvg放在2个大的vg，然后划分出lv来对应，其他划分磁盘hdisk一一对应。
lun_id
vg
disk
大小
0x000
55a01_rootvg1
hdisk2
200G
0x001
55a11_datavg
hdisk3
50G
0x002
55a12_datavg
hdisk4
50G
0x003
55a13_datavg
hdisk5
50G
0x004
55a14_datavg
hdisk6
50G
0x005
55a15_datavg
hdisk7
50G
0x006
55a16_datavg
hdisk8
50G
0x007
55a17_datavg
hdisk9
50G
0x008
55a18_datavg
hdisk10
50G
0x009
55a19_datavg
hdisk11
50G
0x00A
55a20_datavg
hdisk12
50G
0x00B
ss55a01_tempvg1
hdisk13
100G
0x00C
ss55a01_tempvg2
hdisk14
100G
0x00D
ss55a01_tempvg3
hdisk15
100G
0x00E
ss55a01_tempvg4
hdisk16
100G
0x00F
ss55a01_tempvg5
hdisk17
100G
0x010
ss55a01_tempvg6
hdisk18
100G
0x011
ss55a01_rootvg2
hdisk19
200G
rootvg设计
考虑到空间的原因，rootvg尽量节省，所以保留的20G一个，对于磁盘紧张的机器，可以放在内置盘。
如果配置146G一个内置盘，取出VIOserver自身使用约30G，可以配置5个分区，如果配置目前常见的300G一个内置盘，也是一个不错的选择。
55aa01_rootvg1:
LV
TYPE
SIZE
rootvg1_55a11
jfs2
20G
rootvg1_55a12
jfs2
20G
rootvg1_55a13
jfs2
20G
rootvg1_55a14
jfs2
20G
rootvg1_55a15
jfs2
20G
rootvg1_55a16
jfs2
20G
rootvg1_55a17
jfs2
20G
rootvg1_55a18
jfs2
20G
rootvg1_55a19
jfs2
20G
rootvg1_55a20
jfs2
20G
55aa01_rootvg2:
LV
TYPE
SIZE
rootvg2_55a11
jfs2
20G
rootvg2_55a12
jfs2
20G
rootvg2_55a13
jfs2
20G
rootvg2_55a14
jfs2
20G
rootvg2_55a15
jfs2
20G
rootvg2_55a16
jfs2
20G
rootvg2_55a17
jfs2
20G
rootvg2_55a18
jfs2
20G
rootvg2_55a19
jfs2
20G
rootvg2_55a20
jfs2
20G
2.虚拟适配器设计：
o网卡:
对于微分区，内部网卡此处设计为2个网段，即2个VLAN，一个为1，一个为98，和VIOserver内部vlan一一对应；对于VIOserver对外，可以互通，都是新vlan为1。
即此处2和99留有今后扩充，没有使用。
因为事后添加需要重起VIOserver。
SCSIID
VLAN
IEEE802.1q兼容适配器
新VLAN标示
访问外部网干线优先级
连接外网
11
1
是
1
1
是
12
2
是
1
2
是
13
98
是
1
3
是
14
99
是
1
4
是
o存储卡:
此处设置为任意分区，这样今后方便变化，可根据实际情况加以调整。
这里只设计20个vhost，但建议可以设计更多，因为事后添加需要重起VIOserver。
SCSIID
vhost
规划微分区
任意插槽任意分区
rootvg
datavg
111
vhost0
ss55aa11
是
rootvg1_55a11
55a11_datavg
112
vhost1
ss55aa11
是
rootvg1_55a11
55a11_tempvg
121
vhost2
ss55aa12
是
rootvg1_55a12
55a11_datavg
122
vhost3
ss55aa12
是
rootvg2_55a12
55a11_tempvg
131
vhost4
ss55aa13
是
rootvg1_55a13
55a11_datavg
132
vhost5
ss55aa13
是
rootvg2_55a13
55a11_tempvg
141
vhost6
ss55aa14
是
rootvg1_55a14
55a11_datavg
142
vhost7
ss55aa14
是
rootvg2_55a14
55a11_tempvg
151
vhost8
ss55aa15
是
rootvg1_55a15
55a11_datavg
152
vhost9
ss55aa15
是
rootvg2_55a15
55a11_tempvg
161
vhost10
ss55aa16
是
rootvg1_55a
升级会员 