服务器存储解决方案

服务器及存储是现代IT系统中重要的组成部分,为业务系统提供运算处理能力及数据存放等作用。

从计算机系统建设的角度看,主要涵盖主机处理能力、网络通讯、外部存储、软件开发环境、应用软件等方面,这些方面的发展是相辅相成的,用户根据自己的业务特点,选择合适的配置即可完成选型。

纵观当前主要的存储技术,主要包括三个比较流行的存储架构,即:以服务器为中心的DAS、以数据为中心的NAS、以网络为中心的SAN。

DAS:直连式存储主要依靠服务器主机操作系统进行I/O读写和存储管理,数据的备份和恢复将占用服务器主机资源(CPU、系统IO等),该方式部署简单,适合数据量较小的场景。

SAN:存储区域网络采用光纤通道(Fibre Channel)技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。该存储方式适合高效、数据量大的应用。

NAS:网络接入存储(Network-Attached Storage,简称NAS)采用网络(TCP/IP、ATM、FDDI)技术,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私网。该存储应用适合于一些小型共享网络环境。

NAS和SAN主要是为含有小型文件和高级别事务的结构化数据设计的。而非结构化数据具有传统存储方案在设计时并未考虑到的独特特征,包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。特别是对于互联网、流媒体、高性能计算、能源等数据密集型、高并发访问的行业用户来说,容量与性能的线性扩展是传统存储方案不可逾越的鸿沟。

当非结构化数据快速大规模增长时,传统存储方案由于系统容量以及扩展性的限制,很快就难以满足容量需求,这时用户就需要将数据分散存储在不同的系统内,结果形成信息孤岛,导致海量数据难以统一管理,制约了生产效率的提高。不同的存储系统上存储数据量大小、使用频率不一,使用率低下,存储硬件投资整体价格昂贵。

同时,各种类型的数据也对存储系统有着不同的性能需求,比如说图片与音视频。在图片这种文件较小但是数量极多的应用环境里,存储系统必须具备能够容纳足够多的海量文件并且能够支持用户在海量文件中快速检索到需要的文件,否则将会极大影响业务运行效率。另一个就是音视频这类文件较大的数据,这种应用的总数据量非常大,往往会达到数十TB、数百TB甚至PB级,同时大量用户对于数据的连续性访问也带来了非常高的数据读写带宽需求(达GB/s以上)。而传统的存储方案由于文件系统的文件查询效率还有数据的聚合读写带宽都存在明显的限制,导致在数据量不断增加的情况下性能问题显得更加突出。

由此可见随着非结构化数据和数字内容的爆炸性增长,以及存储规模和复杂程度的不断提高,传统存储方案显得捉襟见肘。

面对电子商务、电子政务等领域的全面发展,我国已进入到大数据时代,国家需要服务型产业产值比重逐年提高,实体经济占比将逐年下降到合理水平。IT系统作为各政企事业单位未来发展的重要工具,必将借助海量的数据进行数据的二次挖掘,制定新的发展策略,因此对服务器和存储系统提出了新的要求,即需要大量的存储空间和更多的计算资源,在保障数据和系统安全、稳定的同时,提供更快速精确的服务。面对此情况采用传统的存储网络必然会面临上面提到的突出问题。

因此我们设计集群服务器存储架构,该方案是腾讯、百度、金山云等数据量和实时性要求高的公司主要使用的方案。

集群服务器存储将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。集群服务器存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更高性价比的通用硬件来控制整体成本。

特点:

动态扩展存储容量,自动均衡数据分布,提高硬件利用率。

充分的利用集群内的空闲资源进行相应的处理,能够高出RAID技术几倍的数据恢复速度确保数据完整性,为业务长期稳定运行打下基础。

数据全局共享。

大目录支持打破了存储系统在面向海量小文件时的种种限制,提供了几乎无限的单目录文件数量支持、高效的文件检索效率支持,帮助用户解决海量小文件存储带来的烦恼。

大量的数据IO请求被分散到多台存储服务器上,使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用,集群存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成,从而克服了单一出口点所造成性能瓶颈,可以满足多台应用节点并发访问的带宽需求。

通过该架构简单扩展即可轻松实现用户的云存储平台和云桌面业务。