视频监控的存储技术回顾与方案

2015-08-22 22:44 ⁄ 科技·视野 ⁄ 共 4665字 ⁄ 字号小中大 ⁄ 暂无评论

一、视频监控存储技术发展回顾

(一)前端存储技术

九十年代末，随着网络带宽、计算机处理能力和硬盘存储容量的快速提高以及各种实用视频处理技术的出现，视频监控和存储步入了全数字化的时代。通过中心业务平台进行集中管理和控制，以DVS/DVR为代表的第一代存储技术(前端存储)得到广泛部署。由于架构合理、扩展灵活、层次清晰，网络视频监控给用户带来全新的安防应用体验，从而迅速成为构建新一代网络视频监控系统的主要形式。

(二)网络存储技术

由于近年来IPC尤其是高清IPC的蓬勃发展，前端存储已经无法满足用户日常的业务需求。分布式的前端和平台架构、集中化的管理和控制以及灵活便捷的用户访问，使得网络视频监控系统的存储部分也开始走向网络化。网络化存储给视频监控带来了全新的存储架构，一方面，用户在存储的部署上更加灵活，访问管理也更简单;另一方面，构建需要实现大容量存储的视频监控系统也更为便捷。同时，视频录像的管理、检索、回放得到了有效的统一调度。第二代存储技术，即以NAS和iSCSI为代表的IP存储成为业界两种主要的存储模式。

NAS(网络访问存储)是专用的数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等)，而且能够支持各种操作系统。NAS实现的是文件级的数据共享，因此NAS设备通常作为文件服务的设备，由工作站或服务器通过网络协议(如TCP/IP)和应用程序(如网络文件系统NFS或者通用Internet文件系统CIFS)来进行文件访问。

iSCSI技术是一种新的IETF标准协议，它将现有SCSI接口与以太网技术结合，使服务器可与使用IP网络的存储设备交换数据。iSCSI实现的是网络存储设备中数据块的共享，使SCSI数据包在以太网中传输成为可能，摆脱了SAN昂贵的光纤网络，既降低了管理复杂度又降低了成本。iSCSI的这些特点非常契合现在的网络视频监控发展的现状和方向，特别是在运营级视频监控领域，存储的规模大、投入高，iSCSI技术无疑是一个比较好的参考。

(三)视频监控存储面临的问题分析

随着视频监控行业应用的发展，通用IP存储的弊端逐渐显现：

NAS采用文件共享模式，使用系统的文件系统方式实现数据的存储;长时间的高速读写容易导致文件碎片，读写性能随着时间的推移持续下降。同时海量的文件容易导致录像检索效率较低，安全性得不到保障。由于NAS是构架在操作系统的文件系统之上的，意外断电或者文件系统本身的bug会导致数据损坏。

iSCSI的空间分配采用按路进行专属化管理，要预先进行分配，很难动态扩展，容易导致空间资源的浪费;iSCSI模式需要前端设备或存储管理服务器进行磁盘空间的管理，容易导致管理的不一致，格式无法统一，从而无法实现数据的共享。另外，目前大多数IPC均不支持iSCSI协议，难以支持IPC直接写入存储设备，需要流媒体服务器进行转换，既增加了存储系统的成本，又增加了管理的复杂度，降低了系统的稳定性。

从互联网发展起来的云存储技术，由于其数据六模型与视频监控数据流模型有本质的差别，因此利用从互联网发展起来的云存储技术来构建的视频云存储系统至今没有步入正式商用阶段，对于监控行业的特点无法进行高效的整合。

究其本质，无论是NAS，还是iSCSI，以及从互联网发展起来的云存储技术，都是针对数据存储应用进行设计和优化的，没有考虑到视频监控流的特点，因此，始终难以彻底解决大规模网络化视频监控系统中的存储问题。

二、网络视频监控存储特点分析

在大规模网络视频监控领域中，存储系统有其自身的几个特点：

1.视频监控系统一般摄像头数量多，存储容量需求巨大，因此视频监控系统存储必须支持大容量、可扩展，满足长时间大容量视频图像存储的需求。

2.数据写操作持续时间长，写入的数据流量远远大于读取的数据流量，这是与互联网和一般数据应用的一大区别。这就要求存储具有超强的长时间写入工作能力，保持长时间的稳定性。

3.数据保存周期短，数据循环覆盖，一般的监控场所数据保存一定时间(如15天~1个月)以后便可以删除。因此，其视频流模型是海量的持续写入与海量的持续删除(覆盖)，与互联网和一般数据应用的追加式写入有本质的区别。这要求存储系统能在长时间海量的持续写入与海量的持续删除(覆盖)情况下保持系统的稳定性。

4.由于视频监控中使用的存储规模很大、投入很高，因此与数据应用不同，一般都是采用低廉硬件和一般商用硬盘、甚至更便宜的所谓监控硬盘，在整个存储系统的使用生命周期中，其稳定性与可靠性仅靠单台设备的RAID技术是不够的，还需要从整个存储系统角度来设计其稳定性与可靠性，如整机备份切换或短时间多份数据保护等。

5.视频监控存储的目的是为了在有案事件发生时可以从视频监控录像中找到相关的视频线索信息，因此，确保视频流数据能完整地保存下来是视频监控存储系统的最基本的核心功能。但实际系统日常运维中往往不清楚存储系统是否把视频流保存下来、有多少比例没有保存下来等，因此视频流数据存储完整性管理是大规模视频监控存储系统必须要具备的基础功能。

6.视频监控系统应用环境一般远远达不到商业数据中心的水平，在双路供电、UPS供电时间、后备发电系统等方面的保证程度相对较弱，在实际系统中发生短时间局部突然掉电的几率是较高的，因此，要求存储系统要具备掉电保护、来电自恢复启动功能，发生突然掉电不会导致以保存的视频录像数据丢失，来电后可以自动进入正常的工作状态。

7.随着视频监控应用的不断发展，应用模式也逐步从“事后倒查为主”向“事中实时处置”的模式发展，对存储系统提出了更多的应用方便的要求。对视频监控应用的支持已经成为存储系统发展的一个迫切需求，如在存储系统提供秒级时移回放、倍速回放、视频冻结、关联查询的功能。

三、视频监控专属存储系统解决方案

从上述分析可以知道，视频监控需要有一套能满足其自身特点的大规模存储系统解决方案，我们把这类针对视频监控进行专门优化设计的存储系统称为视频监控专属存储系统(Video

Surveillance-Specific Storage System)。

正是从这个角度出发，我们提出了视频监控专属存储系统解决方案，整个解决方案由存储管理服务器与视频监控专属存储单元(Surveillance-Specific

Storage

Unit，简称SSU)组成，存储管理服务器与视频监控专属存储单元SSU之间通过宽带IP网络连通，视频监控专属存储单元SSU在物理上可以集中部署，也可以分布式部署，但在逻辑上是一个统一的存储系统，是一套分布式的集中存储系统，可以很好地满足大规模视频监控联网系统的建设需求。

存储管理服务器主要负责对视频监控专属存储单元SSU的调度管理、录像完整率等存储管理以及对应用系统提供服务支持。视频监控专属存储单元SSU负责具体视频流的存储。

我们根据视频监控特点，对视频监控专属存储单元SSU进行了特别设计，存储方式采取基于索引+数据块的存储模式，这种模式是根据视频流数据的时间定位到物理存储位置，直接将流数据存入存储系统。这种模式下视频索引的循序就是数据的物理存储循序。数据块的存储模式大大缩短了系统的图像回放响应时间，可实现历史图像信息的秒级监控(见图1)。

SSU采用模块化设计，冗余电源，冗余风扇，部分型号采用冗余控制器，支持热插拔。所有产品型号均支持统一网管。可方便实现录像的快放、慢放、拖放、单帧放，还支持秒级定位与秒级时移回放。

(一)创新性

1.采用磁盘直写技术，优化磁盘使用模式，保障I/O为顺序读写、极高提升吞吐量，减少了因异常关机、系统断电以及文件系统崩溃等造成的录像数据安全问题。系统减少数据传输环节，抛弃传统的流媒体服务器和通用存储技术，比如NAS或iSCSI，极大简化存储的系统结构，提高IO处理能力和读写效率。

2.采用了“时间索引+块数据”的专用数据结构，无文件系统，永无碎片，彻底避免文件系统原因而导致的录像丢失问题，提高了数据的可管理性和安全性。这种全新的数据结构采用帧组作为存储组织单元，时间作为组织单元的索引，并且把索引数据和录像数据保存在物理上完全独立的存储空间，从而在保障索引数据可靠性的同时，大幅度提高录像数据的管理效率和检索速度。

3.支持存储系统的统一调度管理和统一网管，实现海量数据的全局管控。存储和摄像头实现严格的统一映射管理，视频系统无存储管理服务器，视频数据由摄像头直接写入存储，无系统性能瓶颈，易实现全局共享管理。

(二)SSU特点和安全特性

1.特点

(1)针对监控视频数据进行优化存储，数据流以块式组织，无文件系统，永无碎片。

(2)优化磁盘使用模式，保障I/O为顺序读写、极高提升吞吐量，减少了因异常关机、系统断电以及文件系统崩溃等造成的录像数据安全问题。

(3)不论前端集中存储还是中心集中存储，都由平台统一进行管理。

(4)支持平台统一网管。

(5)支持录像秒级定位和秒级时移回放和下载。

(6)支持1/16~16倍率的回放(例如：1/8、1/9、1.1x、1.2x、2x、4x、16x……)，支持视频回退播放。

(7)支持前端设备的断线存储。

2.安全特性

(1)网络安全：断线故障，自动切换;连接故障，继续存储。