大数据平台内存计算节点.docx
《大数据平台内存计算节点.docx》由会员分享，可在线阅读，更多相关《大数据平台内存计算节点.docx（27页珍藏版）》请在冰点文库上搜索。
大数据平台内存计算节点
大数据平台内存计算节点
1、大数据平台内存计算节点
序号
技术指标
要求
投标响应
1.1
*数量
1台服务器，2个计算节点
1.2
硬件配置要求
*1.2.1
配置要求
原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。
要求配置企业级机架式（非刀片式）服务器，模块化架构，可堆叠。
通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。
每套设备的技术要求如下：
平台要求：
高度2U包括2个服务器节点，每个服务器节点:
支持≥2颗IntelXeonE5-2600v3、v4系列处理器每个节点最大8根内存插槽，最大支持512G内存，每个节点最大支持6个3.5寸SAS/SATA硬盘（支持SASRaid0，1，5，6），双千兆网口，每个节点最大支持2个PCI-EX83.0插槽2个，PCI-EX81个，1280W冗余电源
处理器:
每个服务器节点实配≥_2个64位8核处理器，主频≥__2.1_GHz
内存：
每个服务器节点实配≥_128_GBDDR4，内存主频≥2133MT/s
SSD存储：
IntelPCIE-SSD加速卡2TB
硬盘：
每个服务器节点实配至少_3块4T3.5'7200RPMSAS企业级硬盘
1.2.2
配置要求
每个独立物理计算节点的技术要求如下：
1）系统扩展性和扩容性
采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。
支持在线升级，保证随数据存储和计算需求的增长而平滑升级。
平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。
为保证平台7×24小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长
关键应用的高可用性
采用工程化设计，可提供高级别的高可用性。
所有故障类型均可得到防护，包括磁盘、服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。
拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。
支持PCIE-SSD闪存加速
允许用户将频繁访问的表数据保存在SSD中缓存中，同时不常访问的数据仍保存在磁盘中。
这种方式兼具SSD的高性能与磁盘的大容量和低成本。
允许用户任意指定数据库表、分区和段的数据驻留在SSD上。
在SSD闪存中实现列式存储，更进一步提高SSD闪存加速效果，在TPC-DS基准测试中性能提升10倍以上。
提供第三方测试机构出具的测试报告。
通过中断优化、内核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。
为自主研发的产品，拥有独立知识产权，提供相应的证明材料。
1.2.3
配置项完整性承诺
投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。
如果缺漏或不符，应免费补充或更换。
1.3
1.3.1
软件配置要求
投标大数据平台的软件产品需具备：
两年以上（含两年）Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。
投标大数据平台的软件产品需具备：
中华人民共和国国家版权局自主知识产权的计算机软件著作权等级证书，并提供证明文件。
大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。
采用Spark作为内存计算引擎，支持基于内存或者SSD固态硬盘高IO特性优化的列式存储，避免IO带来的延时以提高数据扫描速度。
提供基于SQL，面向海量数据进行任意维度的内存计算交互式分析能力。
*支持在分布式列式存储上建立局部索引，提供OLAP能力，为大表创建索引，支持多维数据灵活分析。
采用全局索引，快速找到精确查询的记录，精确定位数据。
支持物化视图技术，在查询分析时通过MBO进行执行计划优化，提升交互式分析性能与并发度。
*提供内存计算的数据集市开发工具，支持拖拽方式设计Cube模型，支持维度/度量/层次结构/级别/属性，支持星型模型、雪花型模型。
*提供全向量化的执行引擎，通过向量化操作可以降低解析传输等操作的开销，提升系统并行化效率，加速内存计算交互式分析业务场景。
提供分布式存储框架，避免各个存储引擎在高可用、接口抽象、运维等方面的重复，能够对接各种专用存储引擎。
产品具有高性能特性，能对亿级数据进行任意维度、任意过滤条件的聚合分析，秒级响应，同时具有100以上的并发能力。
*在大数据内存计算的数据管理方面，提供多存储层级支持，能够将应用表建立在不同IO读写速度的不同介质上，包括磁盘、SSD固态硬盘和内存，其中建立的非易失存储上的数据表在整个系统重启后能保证数据不丢失。
*投标人需承诺，软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。
2、大数据平台存储节点
序号
技术指标
要求
投标响应
1.1
*数量
2台服务器，4个存储节点
1.2
硬件配置要求
*1.2.1
配置要求
原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。
要求配置企业级机架式（非刀片式）服务器，模块化架构，可堆叠。
通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。
每套设备的技术要求如下：
平台要求：
高度2U包括2个服务器节点，每个服务器节点:
支持≥2颗IntelXeonE5-2600v3、v4系列处理器每个节点最大8根内存插槽，最大支持512G内存，每个节点最大支持6个3.5寸SAS/SATA硬盘（支持SASRaid0，1，5，6），双千兆网口，每个节点最大支持2个PCI-EX83.0插槽2个，PCI-EX81个，1280W冗余电源
处理器:
每个服务器节点实配≥_2个64位8核处理器，主频≥__2.1_GHz
内存：
每个服务器节点实配≥_64_GBDDR4，内存主频≥2133MT/s
硬盘：
每个服务器节点实配至少_5块4T3.5'7200RPMSAS企业级硬盘
1.2.2配置要求
每个独立物理计算节点的技术要求如下：
1）系统扩展性和扩容性
采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。
支持在线升级，保证随数据存储和计算需求的增长而平滑升级。
平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。
为保证平台7×24小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长
关键应用的高可用性
采用工程化设计，可提供高级别的高可用性。
所有故障类型均可得到防护，包括磁盘、服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。
拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。
通过中断优化、内核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。
为自主研发的产品，拥有独立知识产权，提供相应的证明材料。
1.2.3配置项完整性承诺
投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。
如果缺漏或不符，应免费补充或更换。
1.3
1.3.1
软件配置要求
投标大数据平台的软件产品需具备：
两年以上（含两年）Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。
投标大数据平台的软件产品需具备：
中华人民共和国国家版权局自主知识产权的计算机软件著作权等级证书，并提供证明文件。
大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。
提供标准JDBC（包括JDBCtype4driver）、ODBC驱动，ODBC驱动至少兼容linux、windows（64位）。
*支持Oracle、DB2、Teradata、HiveSQL等多种数据库/数据仓库方言。
兼容OraclePL/SQL、IBMDB2SQLPL、Teradata宏，包括函数、流程控制、Package、游标、异常处理以及动态SQL等语法。
支持SQL2003语法，支持存储过程。
支持多种数据输入输出管理，包括：
1）多种数据类型接入存储，例如结构化数据、半结构化数据、非结构化数据、常见字符集、常见数据格式、常见压缩类型。
2）多种加载方式，例如批量模式、增量模式、准实时接入模式、实时接入模式等。
3）多种数据类型输出，例如常见数据类型、常见数据格式、常见导出方式。
*具备统一数据存储管理能力，基于统一数据存储管理让多种数据存储引擎的差异透明化。
统一数据存储管理能够支持使用一种计算引擎对接多种分布式存储系统/引擎，包括分布式文件系统、基于内存或固态硬盘的列式存储、搜索引擎、分布式NoSQL数据库等。
*支持半结构化（JSON/BSON形式存储）和非结构化文本数据的高效存储与搜索，支持全文索引功能，实现文本数据等非结构化数据的搜索。
支持使用SQL接口进行半结构化数据（JSON/BSON形式存储）的查询、更新与删除。
支持海量影像数据或文件数据等大对象数据的存储与检索，提供稳定高效的入库和检索能力，支撑非结构化数据内容管理。
产品具有高性能：
按关键字检索单表记录延时小于500ms,单个节点并发度超过200。
按关键字检索多表关联记录延时小于2s,单个节点并发度超过200。
系统中不允许存在单点故障，任何一个角色故障后都应有备份机器承担原失效节点工作，并在监控页面上对错误状态进行显示标识。
*投标人需承诺，软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。
3、大数据平台深度机器学习节点
序号
技术指标
要求
投标响应
1.1
*数量
1台服务器，1个计算节点
1.2
硬件配置要求
*1.2.1
配置要求
原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。
要求配置企业级机架式（非刀片式）服务器，模块化架构，可堆叠。
通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。
每套一体机的技术要求如下：
平台要求：
高度2U包括1个服务器节点，每个服务器节点:
支持≥2颗IntelXeonE5-2600v3、v4系列处理器每个节点最大16根内存插槽，支持≥2TB（16个DIMM插槽）DDR4ECC2400/2133/1866/1600MHz内存，支持≥12块3.5寸SAS/SATA/SSD硬盘（支持SASRaid0，1，5，6），四千兆网口，3个PCI-E3.0x16插槽（FH,10.5"L）,3个PCI-E3.0x8插槽，1000W冗余电源，VGA接口≥1，USB2.0≥2，RJ-45管理口≥1
处理器:
每个服务器节点实配≥_2个64位8核处理器，主频≥__2.1_GHz
内存：
每个服务器节点实配≥_64_GBDDR4，内存主频≥2133MT/s
硬盘：
每个服务器节点实配至少_3块2T3.5'企业级硬盘
GPU加速卡：
内存≥8GB，CUDA核心≥2560，内存带宽≥192GB/S
1.2.2
配置要求
每个设备的技术要求如下：
系统扩展性和扩容性
采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。
支持在线升级，保证随数据存储和计算需求的增长而平滑升级。
平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。
为保证平台7×24小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长
关键应用的高可用性
采用工程化设计，可提供高级别的高可用性。
所有故障类型均可得到防护，包括磁盘、服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。
拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。
通过中断优化、内核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。
为自主研发的产品，拥有独立知识产权，提供相应的证明材料。
1.2.3
配置项完整性承诺
投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。
如果缺漏或不符，应免费补充或更换。
1.3
1.3.1软件配置要求
投标大数据平台的软件产品需具备：
两年以上（含两年）Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。
投标大数据平台的软件产品需具备：
中华人民共和国国家版权局自主知识产权的计算机软件著作权等级证书，并提供证明文件。
大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。
*提供丰富的分布式统计算法以及机器学习基础算法库，包括数据预处理，数值分析，特征工程相关分布式算法以及基础的分类、聚类、预测等机器学习算法，方便数据分析人员进行数据分析与挖掘的相关工作。
*提供流数据实时分析预测能力，进行流式机器学习。
*支持自定义分布式数据挖掘算法，用户可以根据生产需求自定义开发分布式数据挖掘算法。
数据分析开发语言与接口支持：
1）提供R语言开发接口支持。
2）提供Python语言开发接口支持。
3）提供API开发接口支持。
支持主流深度学习框架，包括Tensorflow、MXNet，通过将深度学习框架与Hadoop体系融合，帮助数据科学家以及分析人员敏捷构建DNN，CNN等模型，使用全量数据样本进行模型训练，提高算法的精准度。
支持挖掘标准PMML模型导入导出，方便模型管理与使用。
支持模型管理，包括内置行业模板、自定义模型模板。
支持模型协作，多人协作模型开发模式。
*提供3种以上的脱敏数据源，定制开发3个行业大数据分析的业务场景，能完整显示从数据洞察、数据清洗、数据归一化、建立模型、模型验证到模型应用的全过程。
*投标人需承诺，软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。
升级会员 