海量数据存储技术:视频监控管理平台需要对海量的视频录像数据进行管理,这通常通过分布式文件系统来实现。这其中典型的是HDFS(HadoopDistributedFileSystem)。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS可以将文件分成块,并存储在多台机器上。
设备的虚拟化访问技术:平台通过协议或SDK的方式接入各个厂家的视频设备,各厂家设备的功能、接口方式、流程、参数都会存在差异,通常使得设备接入部分的代码变得异常臃肿、难以维护、稳定性差。我们采用了虚拟化的访问技术,将各厂家的设备抽象成统一功能、统一接口的虚拟化设备,然后在C3M-Video中采用相同的流程对其进行接入。
设备的智能识别技术:平台使用设备接入协议接入设备,只要各厂家设备遵循该协议与平台交互,平台就能通过搜索指定的网络,检测到是否是有设备接入,并通过交互通信而获取到设备类型、厂家类型等信息。从而自动添加设备到数据库中,并通过获取设备的能力集,将设备的功能展现到客户端中。
云存储技术:视频数据存储是平台的主要功能之一,我们采用了云计算技术,通过分布式的服务集群、负载均衡等技术实现视频数据的并行存储,并且可以根据视项目需要对服务能力和存储容量进行弹性的扩展。
服务的自修复能力:在平台中应用过程监控、运行状态快照记录、数据本地化等手段来实现各个子服务的自修复功能。平台中的网管系统会定时通过主动轮询和被动接收的方式监控各子服务的运行状态信息和告警消息,根据系统内置的状态参数体系判断服务、设备的运行健康状况,在发生异常情况的时候一方面会产生通知告警;另一方面会按照预定义的一系列恢复预案进行状态修正
分布式多级缓冲数据库:传统的视频管理平台,都是采用集中式管理数据库,实际上对于日益增长的信息来说,集中式数据库已经日渐成为瓶颈。我们的平台采用分布式多级缓冲数据库,可以比较好地解决这个问题,本平台的数据库架构通过多个分布式的数据访问封装器提供接口,各个服务模块之间通过标准协议交互数据,而不是直接访问底层的数据库。
统一视频数据接入网关:针对目前数据传输通道的多样性,例如光纤城域网、ADSL、WLAN、3G、2.5G网络在实际环境中的综合应用,我们的平台开发了一套能够兼容异构网络的视频数据接入网关,并根据不同网络传输的特性进行优化,最大限度提高数据的完整性、安全性。对于目前逐渐得到更多应用的3G移动网络,我们对传输协议进行了底层优化,平滑无线网络的抖动影响;同时还对于数据丢包使用自适应纠错算法,进一步完善数据鲁棒性。
C3M-Video平台的实现
基于云计算技术的视频监控管理平台C3M-Video是在C3M通信局站综合管理平台框架基础上,开发的具有视频监控管理功能的平台软件。C3M-Video的推出,扩展了我公司产品的市场业务范围,支撑公司在视频监控领域的发展,为公司拓展
建设、智能电网建设等高端视频监控应用领域提供具有竞争力的产品。
C3M-Video视频监控管理平台包括视频后台服务、平台功能接口、业务呈现等几个部分。视频后台服务提供基于云计算的视频监控服务功能,并通过协议接口与外部调用者进行通信;平台功能接口则在视频后台服务的基础上,结合对业务流程的分析,将相关的功能流程封装成SDK的形式;业务呈现界面根据用户对业务、功能、定制等各方面的需求,对视频监控功能进行组合和呈现,提供最终客户使用。
C3M-Video平台的核心是视频服务,包括设备接入、数据存储、流媒体转发,依靠平台管理服务的调度,以云服务的形式提供海量数据的运算和存储。平台通过调用云服务的访问接口,获得相应的服务功能,组合成多种视频监控应用,用户可以按需使用这些应用。
同时,C3M-Video平台制订了相应的接入协议,用于与视频设备、外部监控系统进行对接。采用了先进的设备智能识别技术,在网络内搜索并识别设备的类型,以方便地接入到平台中。C3M-Video平台创新性的将云计算系统中的关键技术:虚拟化技术,应用到对所管理的规模化视频监控系统的虚拟化访问上,通过虚拟化访问,保证了品牌繁多、架构各异、视频码流格式不同的众多视频监控子系统,被抽象成相同的接口,通过插件的方式实现对各类不同设备的动态支持,平滑的接入到C3M-Video平台中来。
基于SOA的云计算架构,C3M-Video平台除了能支持专有行业领域的视频监控,还能支持面向公众的可运营业务。这意味着C3M-Video能应对超大而且随时可能扩展的监控规模,很容易地实现监控规模的扩展。同时,还具有弹性的业务能力,通过分层的架构,将相关的功能聚合成新的业务,并以灵活的形式向平台用户提供该业务的应用流程。
基于SOA的云体系框架,以健雄职业技术学院数字校园云为例,进行了云团的设计与实现,如图4所示,教师、学生、部门、领导等作为云端用户,通过终端设备到校园云服务平台中心查找需要的云服务,然后绑定到相应的服务接口层,校园云服务平台中心是由一台高性能的服务器计算机负责;云端用户找到相应的服务,根据服务描述和服务位置,选择相应的服务接口层,它由网络中一个节点计算机负责;服务接口层将用户请求发送给业务调度层,业务调度层可以判断用户身份、请求类型和安全验证等,接受对合法请求并调度计算服务层中相应服务,调度管理层由一组分布式网络服务器计算机组成,软件控制过程使用WebService服务处理技术;计算服务层根据调度选择并执行相应的服务去处理用户任务,自动访问、分配、使用物理服务层的服务资源,它也是网络中一组分布式节点组成,包括教务、科研、人事、学生管理、财务等各种服务和云存储管理服务;物理服务层是由校园数据中心和高性能计算机组成,主要通过高性能计算、强大存储、海量的数据为整个云团的服务处理提供底层服务。
结束语
(C3M-Video)视频监控管理平台,采用了基于SOA架构的云计算平台,并创新性的将虚拟化技术、海量数据存储技术、系统自修复技术等先进技术融合进视频监控管理平台中,成功解决了规模化视频监控系统所面临的技术困境,达到了国内领先水平,为规模化视频监控系统的未来发展指明了方向。