现在的位置: 首页 > 自动控制 > 科技·视野 > 正文

罗向军:超融合架构云存储

2016-04-02 15:56 科技·视野 ⁄ 共 4257字 ⁄ 字号 暂无评论

在安防领域,如何以已累积的海量珍贵的数据资源为基础,充分利用智能分析、大数据处理、移动互联、机器调度等先进技术,让从前是一潭死水的海量数据活起来,将海量的数据资源变成如能源一样的珍贵资源,为用户创造价值?这是摆在整个行业面前的最大问题,是安防行业的最大需求,也是安防行业发展到DT时代的典型特征。为拥抱安防“DT”时代,中兴力维以激流勇进的魄力,主动对在行业还处于领先地位的中兴力维视频综合平台进行自我革命和颠覆,推出新一代“211”架构。

一、中兴力维“211”架构——DT系统的核心

DT系统的核心部位是平台,ZNV中兴力维的综合安防平台一直以来在云计算、大数据处理、智能分析等方面都走在行业前列。当前,为迎接DT时代的到来,ZNV中兴力维对综合安防平台进行了进一步的技术升级,以实际行动拥抱DT时代,推出了ZNV中兴力维系统的核心架构——“两端一线一平台”(即:“211”架构)。

“两端一线一平台”的两端是指大数据采集端(iCollector)和后端(iPlatform);一线是指大数据传输(iAcess);一平台是指iCAP平台。

大数据采集端,根据实际需求提供集综合视频与动力环境采集于一体的、可以分布式部署的综合采集设备,以完成各类综合信息的有效提取。同时,也将根据架构的需求,在设备方面赋予一定的智能分析功能。综合采集设备所提取、处理的各类信息,将在保证安全可靠的情况下完成大数据混合处理,通过一线(大数据传输)传输到后端。在后端,对海量数据开展汇聚、分类、管理、加工等工作。最后,通过iCAP平台为各类用户提供满足信息、结论、及时、简单、智能五大核心需求的服务。

“两端一线一平台”的架构,可以在智能决策、事件预警、安全可靠等方面,为用户带来超越期望的核心价值。

二、超融合架构云存储随“211”架构应时而生

先进的架构需要先进的底层资源作为支撑和保证,为此,中兴力维规划了融合计算和存储的超融合架构云存储系统,提出让计算靠近存储的系统架构设计思想。

计算靠近存储的一个典型好处就是,在靠近数据的地方处理,直接返回结果,而不是传输大量的原始数据到服务器去处理,这在原始数据集很大、而处理结果很小的情况下效果尤为明显,可以避免大量网络传输的开销。

超融合的“超”指“虚拟化”,“超融合”的英文为Hyper-Converged。超融合架构的 “超”字,与英文Hypervisor中的Hyper相对应,是虚拟化的意思,对应着虚拟化这一计算架构。这一概念最早源于存储初创厂商将Google、Facebook等互联网厂商采用的计算存储融合的架构用于虚拟化环境,为企业客户提供一种将存储做到计算服务器中的融合产品。因此,超融合架构最核心的改变是存储,而这一概念的最初推动者也都是来自于互联网背景的存储初创厂商。

相对于通过网络把服务器与存储连接起来的传统融合系统,超融合系统(hyper-converged system)实现了计算和存储一体化的回归。中兴力维采用MapReduce分布式计算框架,配以类似GFS的ZDFS(Znv Distributed File System,ZNV分布式文件系统)。

正如“虚拟化计算平台”这个名字所显示的,每个节点上运行ZCOS(Znv Cloud Operating System),以承载控制功能(CVM)和应用(User VM,用户虚机)。每个节点上有一个起控制器作用的虚机(Controller VM,CVM),以Pass-through(直通)方式下穿hypervisor 层,访问连在SAS控制器上的硬盘和SSD。

CVM 响应所在节点上用户虚机的I/O请求,并提供自动精简配置(Thin Provisioning)、自动分层存储、重复数据删除(De-dupelication)、复制和快照等高级功能,所有CVM 共同参与整个集群的管理。该架构最大的特点是数据本地化,缩短响应时间,降低网络流量,利于横向扩展到规模更大的集群。通过控制算法保持数据在距离最近的地方,并允许写I/O 操作在同一节点本地化。

如果VM 迁移到另一台主机,数据也将跟随VM 自动迁移以保证最高性能(维持存储靠近计算)。当某个VM有一定量的读请求发向其他节点上的控制器, ILM将透明地移动远端数据到本地控制器,以保证读I/O 在本地完成,而不是通过网络。如果一个CVM 失效,所有I/O 请求都自动转发到另外一个CVM,直到本地CVM 重新可用。这个自动路径技术完全对hypervisor 层透明,用户VM继续正常运行。如果整个节点故障,HA 事件自动触发,VM 将自动迁移到集群内的另一台主机上。同时,数据被再次复制以维持复制因子(指定的副本数量),以保证整体的可用性。

ZNV的融合系统体现了来自互联网的技术与传统企业级技术的结合,使用ZDFS(Znv Distributed File System,ZNV分布式文件系统)实现存储层的横向扩展,虚拟化负责计算层的横向扩展,并对控制功能的横向扩展有所贡献。

三、超融合架构云存储与软件定义存储的区别

传统数据中心是计算、存储和网络的三层架构,但在超融合时代,数据中心将实现扁平化,用软件定义的方式,使用标准x86服务器实现数据中心基础架构的扁平化。所谓超融合,从形式上对数据中心进行了重新定义,而不是仅仅是对存储进行重新定义。在超融合的世界里,不再有服务器和存储设备的区分。因此,超融合和软件定义存储是有些许区别的,不是同一个概念。

所谓软件定义存储,其产品的交付形态依然是对存储、对存储卷进行管理,因此它只是在传统数据中心中,对传统磁盘阵列进行部分改造,这不是超融合存储。因此从本质上,软件定义存储没有改变数据中心三层架构或者没有改变用户对于针对存储进行管理的习惯,而恰恰是传统上针对存储的管理使得客户不得不面对更加复杂的IT设备管理及系统管理,且无法抽出更多时间精力对应用及业务进行管理与支持。

四、超融合架构云存储方案的优势

1. 超融合架构云存储系统的特色功能

超融合系统是一种新兴的解决方案,从根本上将核心存储、计算和存储网络功能集成到单一软件解决方案或设备中。而传统集成平台和系统的自主计算、存储和网络系统是在工厂由供应商或代理商进行集成的。超融合系统将存储和计算功能集成到一个单一节点(或节点集群,每个节点都提供计算和存储功能),除此之外,所有超融合系统都具有以下功能:

(1)分布式文件系统或其他可以担任数据组织、管理和接入平台的对象存储。

(2)其管理程序除了提供硬件抽象层之外还提供工作负载邻接、管理和容器化(此外,管理程序承载着基本的管理软件,可管理平台,也可用于启动服务器硬件)。

(3)以太网交换机(可选)提供可扩展和/或高可用性功能(然而,交换和/或联网不是用于联接计算与存储层,而是为存储和计算栈提供高可用性和弹性功能)。

(4)融合SDN技术。当前网络技术架构下,一旦完成业务部署,服务器通过网线连入网络,应用流量吞吐对网络的影响就难以控制、网络的调整也就变得相当滞后。而软件定义网络——SDN(Software Defined Network)的出现和理念演进,开始改变网络被动性的现状,使网络具备较大灵活程度的“定义”能力;这种可定义性,是网络主动“处理”流量而不仅仅是被动“承载”流量,并使得网络与计算之间的关系不仅仅是“对接”,而是“交互”。

各种规模企业都在艰难应对基础设施的增长。企业越来越需要数据推动才能在新经济形势下得以立足,因此他们将寻求更多数据资源,收集更多数据,着手分析并存储这些数据,对于安防行业,对海量视频进行大数据梳理,获取价值信息,更好地服务客户,正是安防行业的贡献所在。在传统IT架构下,要对海量视频及各种数据进行分析、处理,需要额外部署海量的服务器和存储设备,会给数据中心带来沉重的负担,而原来部署的设备的性能没有得到充分的利用,造成了巨大的浪费。中兴力维超融合云存储系统,将整个系统的计算机存储资源得到最大限度的利用,同时提供了更为高效的计算能力及存储资源,为这个问题提供了完美的解决方案。

2. 中兴力维超融合架构云存储的核心价值

(1)计算与存储资源独立扩展

计算和存储在性能和容量方面均具有扩展性,并相互独立。客户可以根据业务需要,选择扩展计算或者存储资源。

(2)便捷提供多副本,提高数据安全

超融合方案可便捷支持2-3个副本。当某些服务器损坏时,若采用超融合方案,所需要的数据还会存在对应的副本里,工作还能正常进行。而对比于传统的共享存储,用户想做两个副本时,需要再买一个一模一样的存储设备做备份,增加了不少IT投资。

(3)分布式存储,拉近计算和存储的距离

传统的共享存储在数据读写时,都需要通过网线或光纤进行数据传输。而超融合分布式的存储在读数据的时候,基本都是直接读取本地的副本数据,减少数据流经网线或光纤的时间,加快数据读取速度。

(4)软硬件一体化,节约投资及运维成本

超融合方案所支持的软硬件一体化,即用户可以一次性轻松地把云数据中心部署好,其中包括服务器、服务器虚拟化、存储虚拟化等虚拟化软件。不少用户会分开购买硬件和软件,采购成本较高。同时,软硬件一体机在出厂时已将软件植入到硬件当中,并且已经通过兼容测试,用户可直接架到机房,通电并简单配置即可使用。

五、超融合架构云存储未来展望

超融合存储已经可以从技术上替代传统磁盘阵列了,与传统方式相比,适合超融合存储的场景下,用户会更多关注成本、效率;会更加关注运维管理方式;会更加快速实现存储灵活扩充所带来的好处。

从磁盘阵列到超融合,基础架构的变化,这需要用户花费一些时间加以了解。用户需要逐步了解超融合存储在灵活性、扩展性方面的优势,对于超融合存储性价比要逐步了解,市场培育需要一个过程。但优秀的东西,是能够经受市场考验的,随着用户成功案例的不断增加,超融合架构云存储也会迎来真正的爆发。

六、结语

任何先进的架构、技术,都应该定位于为客户带来价值提升服务,中兴力维的超融合架构云存储,作为中兴力维“211”架构的重要支撑,结合中兴力维两端一线一平台”的大数据采集端(iCollector)和后端(iPlatform)、大数据传输(iAcess)、iCAP平台,利用先进的云计算、云存储、智能调度等新技术,将成为中兴力维的又一利器。

作为专注的综合视频和动力环境信息数据产品的开拓者、供应商和服务商,ZNV中兴力维将不断致力于智慧社区、智慧城市、智慧国家等方面的建设,努力为行业用户、企业用户、公众用户提供优质的产品和服务。

给我留言

留言无头像?