12 Openfile架设iscsi存储.docx
《12 Openfile架设iscsi存储.docx》由会员分享，可在线阅读，更多相关《12 Openfile架设iscsi存储.docx（16页珍藏版）》请在冰点文库上搜索。
12Openfile架设iscsi存储
技术文档模板
（v111210）
作者
王卫锋
审核
分类
Storage
子类
NAS
更新时间
2011-12-10
关键字
Openfile，iscsi
摘要
使用Openfile软件，架设一个简单易用的使用iscsi协议的NAS存储；
主要适用环境
Openfile2.3，Solaris10
版本说明
版本号
拟制/修改责任人
拟制/修改日期
修改内容/理由
V111210
王卫锋
2011-11-10
新建
目录
版本说明2
1系统和软硬件环境说明4
2Openfile功能说明4
3在PC机上安装Openfiler2.3，使其作为网络共享存储设备4
4对新安装的Openfiler做基本设置5
5配置iSCSI卷及设置iSCSITarget5
6修改/etc/hosts文件，并关闭sendmail服务6
7在所有RAC节点上配置iSCSI卷（iSCSIVolumes）6
7.1安装iscsi-target驱动（两个RAC节点都执行）7
7.2配置iscsiinitiator服务7
7.3把共享盘格式化并分区（只在一个RAC节点执行即可）8
7.4给共享磁盘建立软连接12
1系统和软硬件环境说明
硬件环境：
x86服务器
软件环境：
Openfile2.3
Solaris10
2Openfile功能说明
Openfiler是一个开源的网络共享存储（SAN/NAS）软件，可以让我们在普通的PC机上构建共享存储（在VMWare虚拟机中用Openfiler建立的共享存储也可以顺利完成RAC系统的安装），既可以满足开发环境的需求且非常廉价，相比昂贵的专业级SAN/NAS设备（如EMC,NetApp等厂家的产品）可以节省很多。
关于Openfiler系统的安装及后续设置，Hunter的文章中写的非常详细了，网上相关的文章也非常多，就不写在这里了，我只把容易出错的地方列出来（其详细的安装和配置过程写在另外一个文章中“安装Openfiler2.3作为共享存储设备”）。
3在PC机上安装Openfiler2.3，使其作为网络共享存储设备
这里再说一下配置，内存1G就够，如果用于生产环境4G更好；网卡2块，普通的Relteck网卡Openfiler系统都能识别，这里第2个网卡是主板集成的千兆网卡；
主要是硬盘共3块，1个80G用于安装Openfiler2.3系统，其余2个都是1T容量SATA接口32M缓存的大容量硬盘，建立开发环境选择普通的SATA硬盘做存储就可以
了，在生产环境中都是SAS接口的高速硬盘。
我的安装使用了Openfiler2.3提供的软raid功能，与Hunter的文章中不太一样（我把2个硬盘做了条带），但在RAC系统的安装过程中没有什么区别。
这里只把需要
的地方列出来作为重点。
注意：
在安装Openfiler系统时，先不安装2个1T的硬盘，在系统安装完毕后再挂上2个1T硬盘，进行存储划分。
把存储系统的IP设置列出来：
4对新安装的Openfiler做基本设置
Openfiler2.3启动后会给出提示，管理界面的地址是：
https:
//192.168.1.195:
446/（默认用户名：
openfiler，密码：
password）
（1）启动必须的服务，进入“Services”页面，把“iSCSItargetserver”和“iSCSIinitiator”两个服务的状态（Status）都要置为“Enabled”
（2）配置网络访问，进入“System”页面，在页面下方的“NetworkAccessConfiguration”中，写入截图中的内容，再点击“Update”提交。
这里特别说明一下，我们写的是网段192.168.2.0而且要写PrivateNetworks私有地址的网段，掩码要与网段对应所以要选择255.255.255.0；如果写的是具体的地址如：
192.168.2.151和192.168.2.152，掩码就要选择255.255.255.255，否则在两个RAC节点不能发现共享存储。
5配置iSCSI卷及设置iSCSITarget
配置iSCSI卷分为几个步骤：
块设备（BlockDevices）→软RAID（SoftwareRAID）→卷组（VolumeGroup）→逻辑卷（Volume）→iSCSITarget
这里具体的配置过程从略，只把最后的IQNTarget列出来（具体配置在“安装Openfiler2.3作为共享存储设备”一篇附属文章中）
6修改/etc/hosts文件，并关闭sendmail服务
关闭sendmail服务
#chkconfigsendmailoff
最后再把hosts文件修改一下，把两个RAC节点的IP地址和主机名写入。
#vi/etc/hosts
修改为
#
127.0.0.1localhost.localdomainlocalhost
#
192.168.1.151racnode1
192.168.1.152racnode2
#
192.168.2.151racnode1-priv
192.168.2.152racnode2-priv
#
192.168.1.195openfiler1
192.168.2.195openfiler1-priv
7在所有RAC节点上配置iSCSI卷（iSCSIVolumes）
在前面的操作中，已经把共享存储设备建立好了并建立了8个逻辑卷及相对应的IQNTarget，在这一步中就是要在RAC节点上发现这些IQN，并把其引入作为本地磁盘使用。
完成这一步要分几个小的步骤，首先要检查Solaris系统是否安装了iscsi-target驱动，其次是配置iscsiinitiator服务，最后把引入的磁盘格式化并分区。
7.1安装iscsi-target驱动（两个RAC节点都执行）
我们在安装Solaris10系统时选择安装了全部包，所以该服务就自动安装好了，并自动启动了；如果没有全部安装所以包，就要检查是否安装了以下4个包SUNWiscsir、
SUNWiscsitgtr、SUNWiscsitgtu、SUNWiscsiu。
使用命令-bash-3.00#pkginfo-i包名来检测4个包是否都安装了
执行以下命令添加包
-bash-3.00#pkgadd-d/cdrom/SOL_10_1009_X86/SOLARIS_10/PRODUCTSUNWiscsir
把4个包都安装好后，服务自动启动。
7.2配置iscsiinitiator服务
在每个RAC节点上都执行以下命令，用来发现共享存储
-bash-3.00#iscsiadmadddiscovery-address192.168.2.195:
3260（添加发现的地址，写Openfiler共享存储的私网地址，端口号：
3260）
-bash-3.00#iscsiadmmodifydiscovery--sendtargetsenable（启用sendtargets功能）
-bash-3.00#iscsiadmmodifydiscovery--staticenable
-bash-3.00#iscsiadmlisttarget-S
如果要删除发现地址，使用命令
-bash-3.00#iscsiadmremovediscovery-address192.168.2.195（在Solaris系统中只敲入iscsiadm命令，系统会显示相关的用法。
）
输入完第4个命令后回车，应立即显示出以下内容，为节省篇幅把其写在表格中
最后一个命令录入完后回车，系统会把在Openfiler共享存储中建好的9个IQNTarget依次列出，其中加粗标红显示的就是在本地的裸设备名称，在Solaris系统中
系统每次重启后IQNTarget的顺序不会改变，不用象Linux系统中那样建立规则脚本，有一种特殊情况提一下，如果两个RAC节点对同一个IQN分配的磁盘号不同，就
需要通过建立软连接解决了，把不同的设备号映射为相同的名称问题就解决了，这会在后面介绍。
注意：
如果输入完iscsiadmlisttarget-S命令后系统没有显示任何内容，代表设置有错误存在，RAC节点没有成功发现共享存储设备，请检查以下4点：
①如果是在VMWare中安装部署，所有主机的网卡连接方式一定要选择“Bridged”桥接方式（使用物理网络）。
②Openfiler中访问控制的网段或IP地址的掩码要写对，如果写的是网段如192.168.2.0则对应255.255.255.0（注意是3个255和1个零）；如果写的是IP地址如
192.168.2.151则对应255.255.255.255（注意是4个255）。
③在Openfiler中建立的iSCSITarget中的“NetworkACL”页面中网段或IP一定要设置为“Allow”允许访问。
④Openfiler共享存储中的“Services”页面中的“iSCSItargetserver”和“iSCSIinitiator”两个服务必须启动。
如果以上4点有一个设置不对，共享存储都是不能被发现的，如有问题，请在这4个方面检查。
7.3把共享盘格式化并分区（只在一个RAC节点执行即可）
在格式化前先说一下Solaris系统中对磁盘的管理，Solaris中每个磁盘分为6个片（slice），上面列出的如：
/dev/rdsk/c3t10d0s2，其中s2代表整个磁盘，所以6个片是s1到s7，下面配合截图说明格式化和分区。
分区使用以下命令
-bash-3.00#/usr/sbin/format（直接写format也可以）
系统会显示以下内容，其中包括系统盘和9个网络共享磁盘（1到9是共享磁盘）
Searchingfordisks...done
AVAILABLEDISKSELECTIONS:
0.c0d0
/pci@0,0/pci-ide@7,1/ide@0/cmdk@0,0
1.c3t10d0
/iscsi/disk@0000i.openfiler%3Arac.crs10001,0
2.c3t11d0
/iscsi/disk@0000i.openfiler%3Arac.crs20001,0
3.c3t12d0
/iscsi/disk@0000i.openfiler%3Arac.asm10001,0
4.c3t13d0
/iscsi/disk@0000i.openfiler%3Arac.asm20001,0
5.c3t14d0
/iscsi/disk@0000i.openfiler%3Arac.asm30001,0
6.c3t15d0
/iscsi/disk@0000i.openfiler%3Arac.asm40001,0
7.c3t16d0
/iscsi/disk@0000i.openfiler%3Arac.fra10001,0
8.c3t17d0
/iscsi/disk@0000i.openfiler%3Arac.fra20001,0
9.c3t18d0
/iscsi/disk@0000iqn.openfiler%3Arac.spfile0001,0
Specifydisk（enteritsnumber）:
1（回车）
我们首先把rac.crs1盘格式化分区，根据提示输入盘号“1”，进入格式化，系统显示
selectingc3t10d0
[diskformatted]
FORMATMENU:
disk-selectadisk
type-select（define）adisktype
partition-select（define）apartitiontable
current-describethecurrentdisk
format-formatandanalyzethedisk
fdisk-runthefdiskprogram
repair-repairadefectivesector
label-writelabeltothedisk
analyze-surfaceanalysis
defect-defectlistmanagement
backup-searchforbackuplabels
verify-readanddisplaylabels
save-savenewdisk/partitiondefinitions
inquiry-showvendor,productandrevision
volname-set8-charactervolumename
!
-execute,thenreturn
quit
format>p（回车）
WARNING-Thisdiskmaybeinusebyanapplicationthathas
modifiedthefdisktable.Ensurethatthisdiskis
notcurrentlyinusebeforeproceedingtousefdisk.
由于是新磁盘，没有使用过，所以要先执行“fdisk”命令，否则会报错
执行fdisk命令
format>fdisk
系统显示以下内容，并根据提示输入“y”
Nofdisktableexists.Thedefaultpartitionforthediskis:
a100%"SOLARISSystem"partition
Type"y"toacceptthedefaultpartition,otherwisetype"n"toeditthe
partitiontable.
y（回车）
接下来在foramt>提示符下输入“p”，进入分区程序（红字为系统显示，黑字为用户录入）：
format>p（进入分区程序）
PARTITIONMENU:
0-change`0'partition
1-change`1'partition
爱相随e-mail:
zhsalei@,msn:
zhsalei@
Oracle11gR2RAC在Solaris10_x86_64上的安装
12
2-change`2'partition
3-change`3'partition
4-change`4'partition
5-change`5'partition
6-change`6'partition
7-change`7'partition
select-selectapredefinedtable
modify-modifyapredefinedpartitiontable
name-namethecurrenttable
print-displaythecurrenttable
label-writepartitionmapandlabeltothedisk
!
-execute,thenreturn
quit
partition>p（再次录入“p”，显示一下分区情况）
Currentpartitiontable（original）:
Totaldiskcylindersavailable:
2044+2（reservedcylinders）
PartTagFlagCylindersSizeBlocks
0unassignedwm00（0/0/0）0
1unassignedwm00（0/0/0）0
2backupwu0-20433.99GB（2044/0/0）8372224
3unassignedwm00（0/0/0）0
4unassignedwm00（0/0/0）0
5unassignedwm00（0/0/0）0
6unassignedwm00（0/0/0）0
7unassignedwm00（0/0/0）0
8bootwu0-02.00MB（1/0/0）4096
9unassignedwm00（0/0/0）0
partition>6（给片6分配空间）
PartTagFlagCylindersSizeBlocks
6unassignedwm00（0/0/0）0
Enterpartitionidtag[unassigned]:
usr（写分区标识为“usr”）
Enterpartitionpermissionflags[wm]:
（按默认设置，直接回车）
Enternewstartingcyl[1]:
3（这里特别注意：
绝对不能写0，柱面由3开始，如起始柱面设置不对，当安装Clusterware或Grid做格式化votingdisk时会报错）
Enterpartitionsize[0b,0c,3e,0.00mb,0.00gb]:
2g（大小设置为2G）
partition>label（分区完毕后要执行一下“label”命令，做分区标识，注意这是必须步骤）
Readytolabeldisk,continue?
yes
partition>p（再次查看一下分区情况）
Currentpartitiontable（unnamed）:
Totaldiskcylindersavailable:
2044+2（reservedcylinders）
PartTagFlagCylindersSizeBlocks
0unassignedwm00（0/0/0）0
1unassignedwm00（0/0/0）0
2backupwu0-20433.99GB（2044/0/0）8372224
3unassignedwm00（0/0/0）0
4unassignedwm00（0/0/0）0
5unassignedwm00（0/0/0）0
6usrwm3-10262.00GB（1024/0/0）4194304
7unassignedwm00（0/0/0）0
8bootwu0-02.00MB（1/0/0）4096
9unassignedwm00（0/0/0）0
partition>q（“q”退出）
FORMATMENU:
disk-selectadisk
type-select（define）adisktype
partition-select（define）apartitiontable
current-describethecurrentdisk
format-formatandanalyzethedisk
fdisk-runthefdiskprogram
repair-repairadefectivesector
label-writelabeltothedisk
analyze-surfaceanalysis
defect-defectlistmanagement
backup-searchforbackuplabels
verify-readanddisplaylabels
爱相随e-mail:
zhsalei@,msn:
zhsalei@
Oracle11gR2RAC在Solaris10_x86_64上的安装
13
save-savenewdisk/partitiondefinitions
inquiry-showvendor,productandrevision
volname-set8-charactervolumename
!
-execute,thenreturn
quit
format>
接下来把其它8个共享磁盘也格式化并分区，分区时也把磁盘的
升级会员 