Greenplum数据库安装方案Word文档格式.docx

资源描述

Greenplum数据库安装方案Word文档格式.docx

《Greenplum数据库安装方案Word文档格式.docx》由会员分享，可在线阅读，更多相关《Greenplum数据库安装方案Word文档格式.docx（27页珍藏版）》请在冰点文库上搜索。

Greenplum数据库安装方案Word文档格式.docx

17（当前环境13台）

3.万兆网络

2台华为交换机9300做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合，实现负载均衡和容错。

11.3磁盘硬件RAID设计

考虑数据安全性、可靠性、运行性能和容量需求，在硬件方面采用RAID进行进行数据保护。

对于磁盘RAID设置要求：

RAID卡打开“WriteBack”Cache设置和“Readahead”读策略。

分成2组RAID5:

12*900G+11*900G。

11.4网络IP规划

为了最大程度满足性能和可靠性的要求，集群配置了2台华为9300交换机，做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合（mode=4），实现负载均衡和容错。

由于采用网卡聚合技术，每台服务器只需配置一个IP地址，整个集群处于一个vlan之中。

用途

机器名

GPDBMaster

jxgpmaster01

10.180.212.64

GPDBStandby

jxgpmaster02

10.180.212.65

GPDBSegment

jxgpseg05

10.180.212.70

jxgpseg06

10.180.212.71

jxgpseg07

10.180.212.72

jxgpseg08

10.180.212.73

jxgpseg09

10.180.212.74

jxgpseg10

10.180.212.75

jxgpseg11

10.180.212.76

jxgpseg12

10.180.212.77

jxgpseg13

10.180.212.78

jxgpseg14

10.180.212.79

jxgpseg15

10.180.212.80

jxgpseg16

10.180.212.81

jxgpseg17

10.180.212.82

12软件环境安装配置

12.1操作系统安装配置

12.1.1BIOS设置

进入BIOS功能界面，开启BIOS超线程

✓开启

验证BIOS超线程设置合规性：

grep–i‘cpucores’|/proc/cpuinfo|wc–l

grep–i‘processor’|/proc/cpuinfo|wc–l

检查结果：

处理器数量是核数的2倍。

12.1.2操作系统安装设置

12.1.2.1安装操作系统基础包

操作系统版本：

RedhatEnterpriseLinuxServer6.5（64bit）

要求：

✓选择“最小”软件组方式安装RedHatEnterpriseLinux6.5（64bit）

✓选中“现在自定义”选项，选择安装其他系统工具包。

12.1.2.2安装系统语言包

操作系统安装过程中，请安装以下语言支持。

✓POSIXC　和en_US.utf8locales在安装操作系统时安装。

即ThePOSIXCanden_US.utf8localesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.

✓以English（English）作为操作系统安装/登录时采用的语言。

✓除英文环境，在安装附加语言支持时，选择简体中文。

即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文语言包需要在安装操作系统时一并安装。

12.1.2.3安装系统工具包

组件名称

组件功能

版本要求

验证检查

Kdump

系统信息转储工具

与操作系统相同版本

Servicekdumpstatus

Whichkdump

Ntp

时间同步服务

Servicentpdstatus

Perl

Perl语言工具包

Perl--version

Tcpdump

网络数据采集分析工具

whichTcpdump

Unzip/zlib5

解压工具

whichUnzip

Xfsdump

Xfs文件系统工具

whichXfsdump

Xfsprogs

whichxfssprogs

ed.x86_64

Ed编辑器

whiched

jdk-6u43-linux-x64-rpm

Jdk工具，从Oracle下载安装

jdk–version

ipmi/ipmitool

远程管理诊断工具

ipmitool--V

Gdb

程序运行时调试工具

whichgdb

Pstack

程序运行时调试工具（依赖于gdb）

whichpstack

Nmon

系统性能监测工具

whichnmon

12.1.2.4开发语言连接驱动

开发语言连接数据库需要特定的驱动，目前Greenplum与第三方开发语言连接方式有如下规：

Greenplum自带C/C++开发语言驱动，不需要安装任何驱动。

Greenplum自带JDBC/ODBC连接驱动，开发语言可通过JDBC或ODBC连接数据库，例如Java开发语言可通过JDBC连接数据库。

对于自带有JDBC/ODBC连接驱动的开发语言，可直接通过自身的JDBC/ODBC连接数据库

Python及Perl开发语言不能通过JDBC/ODBC连接数据库，需通过DBD连接，则要在安装操作系统完成后独立部署安装。

例如LDS及SOR数据库集群开发语言是Perl，则是需要安装如下DBD驱动软件包。

postgresql-libs-8.4.11-1.el6_2.x86_64

perl-DBI-1.609-4.el6.x86_64

perl-DBD-Pg-2.15.1-3.el6.x86_64

12.1.2.5时区配置

配置时区要求如下：

✓选择时区为东八区“亚洲/-中国东部”

✓Asia/ShanghaiEastChina–Beijing，Guangdong，Shanghai，etc.

✓系统时钟不使用UTC

12.1.2.6文件系统和分区配置

∙由于RAID磁盘组大于2T，建议采用parted分区，不采用LVM进行管理。

∙Greenplum官方推荐最适合的文件系统是XFS，其他文件系统类型原则上不推荐；

∙挂载点

大小

文件系统类型

说明

400G

ext4

安装操作系统和应用软件

/boot

200M

linux启动目录

无

swap

系统交换空间

/data1

2.8T

xfs

hadoop数据目录

/data2

2.6T

12.1.2.7网卡配置

每台服务器采取2网卡绑定的方式提高网络带宽（需要交换机支持），网卡绑定参考如下过程：

1.停止

NetworkManager服务

serviceNetworkManagerstop

chkconfigNetworkManageroff

2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件

DEVICE=bond0

ONBOOT=yes

BOOTPROTO=static

IPADDR=…

NETMASK=…

GATEWAY=…

USERCTL=no

3.分别修改每块slave网卡的设置文件，假设slave网卡为eth0,则按以下容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:

DEVICE=eth0

BOOTPROTO=none

MASTER=bond0

4.以步骤3的方式修改另一块slave网卡配置

5.编辑/etc/modprobe.d/bond.conf文件,加入以下容

aliasbond0bonding

optionsbond0miimon=100mode=4

6.重启network服务

servicenetworkrestart

7.检查网络连通性

说明：

miimon是用来进行链路监测的。

比如:

miimon=100，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路；

mode的值表示工作模式，共有0,1,2,3,4,5,6七种模式

12.2操作系统参数设置

设置

类型

容

硬盘调度算法

elevator=deadline

核参数

●设置方法

修改/boot/grub/menu.lst找到kernel/vmlinuz-xxx这一行，在最后添加elevator=deadline/elevator=deadlinetransparent_hugepage=neve

●检查/验证方法

系统启动正常后，执行

cat/sys/block/*/queue/scheduler

应能看到：

noopanticipatorydeadline[cfq]

系统运行级别=3

系统设置

在/etc/inittab文件中，将行

id:

initdefault

改成：

执行

cat/etc/inittab

磁盘预读取

blockreadahead

=16384

（所有硬盘）

●设置办法

修改/etc/rc.d/rc.local增加两行

blockdev--setra16384/dev/sd*

●检查办法

系统重启后运行

blockdev--getra/dev/sd*

blockdev--getra/dev/vg0/*

应都是16384

语言与字符集

language=en_US.UTF-8

系统安装时指定。

登录系统，执行命令locale

结果应该是en_US.UTF-8

Sysctl.conf

修改/etc/sysctl.conf，增加以下容：

kernel.shmmax=1000000000

kernel.shmall=4000000000

kernel.shmmni=4096

kernel.sem=2505120001002048

kernel.sysrq=1

kernel.core_uses_pid=1

kernel.msgmni=2048

net.ipv4.tcp_syncookies=1

net.ipv4.ip_forward=0

net.ipv4.conf.default.accept_source_route=0

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

net.ipv4.conf.all.arp_filter=1

net.ipv4.ip_local_port_range=102565535

dev_max_backlog=10000

net.core.rmem_max=2097152

net.core.wmem_max=2097152

vm.overcommit_memory=2

kernel.core_pattern=/data1/coredump/core.%e.%p.%t.%u.%g

net.ipv4.ip_local_reserved_ports=5432,6432

net.ipv4.ip_forward=0

kernel.msgmax=65536

kernel.msgmnb=65536

kernel.shmmax=500000000

kernel.shmall=4000000000

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

dev_max_backlog=10000

vm.overcommit_memory=2

net.ipv4.conf.all.arp_filter=1注：

如需增加连接数，可增加kernel.sem

然后执行sysctl-p。

用sysctl，检查上述各参数是否匹配。

用户资源限额

修改/etc/security/limits.conf

增加以下几行：

*softnofile1048576

*hardnofile1048576

*hardnproc1048576

*softnproc1048576

ulimit-cunlimited

#Endoffile

#gpadminsoftnproc131072

#gpadminhardnproc131072

修改/etc/security/limits.d/90-nproc.conf

用任意普通用户登录，执行ulimit-a，检查上述参数是否匹配。

12.3操作系统安全配置

12.3.1关闭防火墙和SELinux

在操作系统安装过程中，关闭操作系统自带防火墙。

chkconfigiptablesoff

serviceiptablesstop

关闭SELinux，设置/etc/selinux/config文件中SELINUX=disabled。

12.3.2关闭不必要的服务

关闭所有不需要的服务，减少这些服务对系统资源的占用。

部分LINUX服务信息如下：

系统服务名称

进程摘要

建议

abrt-ccpp

C/C++程序问题收集工具

关闭

Abrtd

AutomaticBugReportingTool

abrt-oops

核严重异常信息收集工具

Acpid

ACPID事件监听和分发进程

Atd

定时任务进程

Auditd

系统审计进程

Autofs

Aufofs管理进程

avahi-daemon

本地网络服务查找

Bluetooth

蓝牙协议守护进程

Certmonger

认证期限监控

Cpuspeed

Cpu速率调整进程

Crond

打开

Cups

Cups打印机进程

Firstboot

系统首次启动时的配置

Haldaemon

硬件信息维护和管理进程

ip6tables

ipv6包过滤软件防火墙进程

Iptables

包过滤软件防火墙进程

Irqbalance

中断平衡进程

lvm2-monitor

lvm的mirror监控进程

Mdmonitor

软RAID监控进程

Messagebus

DBUS消息总线进程

Netfs

网络文件系统进程

Network

网络进程

NetworkManager

网络自动管理进程

Nfslock

Nfs锁机制进程

Portreserve

RPC服务相关

Postfix

电子服务

Rhnsd

操作系统自动更新进程

Rhsmcertd

在线更新订阅状态信息

Rpcbind

Rpcgssd

针对nfsv4客户端管理RPCSECGSScontexts进程

Rpcidmapd

RPC名字与UID/GID映射进程

Rsyslog

系统日志进程

Sshd

Sysstat

系统统计信息进程

udev-post

设备管理系统

Ipmi

远程诊断

12.3.3禁止不用的用户登录

系统生成的默认用户，如ftp、nobody、lp等，默认情况下这些用户不可登录系统。

12.3.4配置security参数

序号

参数

参数名称

default

建议值

调整原则及注释

Umask

umask

umask=022

增强安全性

TMOUT

登录shell超时设置

未设置

编辑/etc/profile文件TMOUT=120

exportTMOUT

12.4操作系统用户组和用户

创建用户组及用户

groupaddgpmon

useradd-ggpmongpmon

组

GID

用户

UID

主目录

Gpadmin

3030

gpadmin

/home/gpadmin

Gp系统用户

Gpmon

3040

gpmon

/home/gpmon

Gp监控用户

设置用户初始密码

Gpadmin用户的密码为xxxx

Gpmon用户的密码为xxxx

12.5网络配置

按照数据仓库系统集群IP对应关系，配置所有节点的/etc/hosts文件，要求将所有节点的IP、服务器别名及服务器名都编辑到/etc/hosts文件，具体容如下：

10.180.212.64jxgpmaster01

10.180.212.65jxgpmaster02

10.180.212.70jxgpseg05

10.180.212.71jxgpseg06

10.180.212.72jxgpseg07

10.180.212.73jxgpseg08

10.180.212.74jxgpseg09

10.180.212.75jxgpseg10

10.180.212.76jxgpseg11

10.180.212.77jxgpseg12

10.

展开阅读全文