智能分析助力安防进入大数据时代

林伯海

       随着智慧城市和智能交通的快速发展,金融、交通、政府等传统领域的安防应用更加深入，新生领域如教育、卫生、体育、能源飞速发展，社区、居民相关应用也在不断升温,移动互联设备随之快速激增，产生了海量的非结构化视音频数据，带动了大数据的存储、管理、分析等应用。
　　驱动大数据发展的重要因素主要来自两个方面：一是消费领域，如网购及社交媒体应用产生的大量数据;另一方面来自城市基础设施建设，安防便是其中之一。建设平安城市的过程伴随大量数据的产生，尤其是以视频监控为主要特征的数字安全监控(Digital Security Surveillance，DSS)。我们所居住的城市中有无数的高清摄像头，涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等，视频接入规模从几千到几十万，随着安防监控对高清、智能、联网的要求越来越高，每天产生的数据规模正以惊人的速度不断增长。
　　大数据时代来临，行业变革才刚刚开始，未来前景广阔。就目前发展来看，国内安防行业对大数据的应用领域还较有限，主要集中在公共领域。目前我国在安防公共领域对大数据的运用主要集中在智能交通、司法系统等方面。
　　智能交通：交通运输部今年7月份下发通知，将对公共交通信息化应用系统建设、相关支撑系统建设、数据资源与交换系统建设提供资金支持。在政策利好支撑下，可以从以下三方面掘金智能交通领域：
　　①从事城市交通系统建设、高速公路信息化建设等领域;
　　②智能交通发展必需的视频监控设备供应商;
　　③提供导航地图、地理信息系统软件建设的内容提供商。
　　司法系统：公安市场大规模的信息化和装备投资产生了海量的非结构化数据，公安的实战应用是大数据的重要应用领域。该领域大数据类公司业务包括电子数据取证、电子数据鉴定、网络舆情分析、数字维权、公证云、搜索云以及取证云服务等。
　　在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括各类非结构化、结构化及半结构化信息。其中，非结构化数据主要包括视频录像和图片记录，如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录，系统日志记录，运维数据记录，摘要分析结构化描述记录以及各种相关的信息数据库，如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据，指纹记录等。
　　对IT大数据来说，其特征通常用4V(Velocity、Variety、Volume、Veracity)来概括，但对于安防大数据来说，它有自己独特的特点。首先，安防大数据以非结构化的视频监控数据为主，因而它更侧重于对非结构化数据的信息分析、提取挖掘以及处理能力;其次，就数据容量而言，以视频录像为主的安防大数据对传输、存储和计算过程中需要的带宽以及存储空间要求都更高;再次，以数据量基础做比较，安防大数据中的信息价值密度更低，从海量的图像信息中快速和准确地检测或者挖掘出有用信息的难度更大;最后，视频监控数据7×24小时都在持续不断地更新积累，其时效性更高。
　　安防大数据的处理和分析工具主要有两类：一类是对视频图像等非结构化信息的处理和分析工具，包括视频智能分析工具、视频摘要工具、图像清晰化工具、视频清晰化工具、视频转码工具、视频编辑工具等等;另一类则是对结构化、半结构化信息的大数据分析处理工具，此类处理和分析工具安防界吸取了IT界在处理大数据方面的架构和经验，比较流行的如Hadoop，Spark大数据处理的框架，以及Mahout、R数据挖掘工具，以对结构化和半结构化的数据可以实现快速和准确的数据分析和挖掘。
　　大数据在安防行业的应用使得安防更加智能化，大数据的技术一般分为数据采集、存储、挖掘和分析技术。其中，智能分析居于核心地位。
　　智能分析是安防大数据区别于IT大数据的根本点，只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据，才能将IT大数据成熟的技术体系应用到安防大数据中，充分发挥安防大数据的作用。对于视频图像等非结构化数据的分析和处理，目前可能更多地是把它归属到智能分析的范畴，这些技术很多已在初期应用中不断改进和完善，很多更新的智能分析技术仍处在研发过程中，对这类数据的分析和处理也将成为安防大数据的核心价值点。日益丰富的智能算法将大大提高视频监控摄像机的使用范围和价值，处于应用初级阶段的智能视频监控，也将随着智能算法的日益丰富而快速发展。而数字处理芯片、编解码能力以及压缩算法，是影响图像处理技术的重要因素。安防智能化的核心还体现在VA(视频分析或图像分析)，而VA需要底层算法的支持并运用单元执行，这可提高视频分析的效率。
　　随着数字安防技术的普及，监控技术逐渐往高清化、网络化发展，随之而来的是海量的数据存储问题，海量数据必须拥有能够进行可靠、可保证效率且拥有快速的读写以及响应能力的存储。存储设备从监控系统的边缘化位置逐渐走向了中心，在监控系统的比重也随着集中化的提升而得以大幅提高，传统的存储方式已经不能适应网络存储的需求，云存储作为一种新型的存储服务应运而生。
　　所谓云存储，是指通过集群应用、网格技术及分布式文件系统功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问的一种系统，即以数据存储和管理为核心的云计算系统。
　　云计算、云存储和大数据将对视频监控行业带来存储架构、虚拟化、安全和高效处理四个方面的变化。
　　首先，大数据的特征对存储容量的总体拥有量需求激增，海量存储模式也从传统的集中存储式架构发展到分布式存储架构，这种分布式架构，在多副本、网络 RAID技术、快照技术驱动下，实现海量存储的高可靠、大并发能力，推进了存储从设备供应模式到服务模式的升级和转变。
　　其次，虚拟化技术在存储服务能力建设上将继续不断发展，升级模式从SCALE-UP向SCALE-OUT模式发展，为无处不在的存储资源的调度与管理、存储资源的在线扩容升级、数据持续保护、存储服务不间断等实现有力的支撑。虚拟化，一方面大大简化应用环节，节省客户建设成本，同时提供更强的存储和共享功能;另一方面解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能。
　　再次，安全方面实时计算和存储，对存储设备性能、存储网络性能、存储资源配置简化性要求越来越高。在复杂的存储服务中，基于虚拟化所构建的混合存储系统，系统的自动分层存储能力尤为重要。伴随闪存的成本不断降低的市场，市场上也有基于全闪存阵列产品的出现，基于虚拟化下的存储资源自动化分层，实现数据分层存储，并迁移的策略，对大数据实时性、安全性更加不可或缺。
　　最后，面对结构化数据、非结构化数据、半结构化等元数据的处理机制，云存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间，提高了存储效率;云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。受限于安防视频监控自身业务的特点，监控云存储和现有互联网云计算模型会有区别，如安防用户倾向于视频信息存储在本地、政府视频监控应用比较敏感、视频信息的隐私问题、视频监控对网络带宽消耗较大等问题。海量数据存储的检索、目录服务、去重化都将在以大数据牵动的存储应用中，给存储产业带来新的发展机遇。
　　当前，安防监控的发展如火如荼，与此同时，云存储技术在安防监控的应用也日渐普遍，作为未来安防存储发展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便向用户提供一系列的数据服务，但是，云存储的发展状况仍受限于以下几个因素：
　　①网络带宽的限制：真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过adsl、ddn等宽带接入设备来连接云存储。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。
　　②数据安全性：从云计算诞生，安全性一直是企业实施云计算首要考虑的问题之一，同样，在云存储方面，安全仍是首项考虑的问题。云存储系统的安全威胁主要表现如下：
　　云存储提供可伸缩的数据服务，无法清晰定义安全边界及保护设备，给云存储的安全保护措施增加了难度;
　　云存储通过IP网络传输数据，因此传统网络上的安全威胁也存在于云存储系统上，如数据破坏、数据窃取、数据篡改、拒绝服务等，影响了数据的安全存储;
　　数据存储的安全性包括静态存储安全和动态存储安全，静态存储安全是确保云存储系统上最终存储数据的存放安全，动态存储安全是确保在数据传输时的完整性和保密性;
　　云存储需要保证数据的容错J性、可恢复性和完整性，在灾难发生时如何避免数据服务中断及数据丢失等问题;
　　云存储系统作为一个公共数据中心，具有多客户连接、高交互性、数据安全保障要求高等特点，对入侵、攻击、病毒和恶意软件十分敏感，有必要对云存储中的数据流进行实时主动地检测和防御。
　　③应用存储的发展：云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。
　　在信息化浪潮的冲击下，人们当前已经步入互联网与云计算的时代，整个安防行业也从产品销售、平台建设逐渐转向系统运营和数据分析，安防行业IT化已经是不可避免的趋势。
　　在视频监控领域，伴随着高清监控时代的大潮，产生了越来越多的海量视频数据。但是，大量的视频数据仍然是独立的、零散的。视频录像数据散布在各个行业、单位独立的系统中，没有发挥达到联网、共享，业界也没有形成对数据挖掘、利用的通用方法，核心技术仍然在研究中，尚没有实现重大突破。
　　目前大量的视频监控数据运用于安防领域，但主要以人工搜索为主，政府之间跨警种、跨部门、跨区域的联网共享应用仍然较少，更不用说为老百姓、为社会所用的应用还没有启动。如能开放这些视频资源，为老百姓服务，而不仅仅用于治安、刑事案件，能通过信息公开、数据共享、数据挖掘推动新型的数据服务业的大发展，将是社会的福音。
　　安防行业从单一产品到系统集成，从模拟监控到网络监控，从封闭系统到大数据、云平台，已经不是简单的视频传输，而是涉及数据采集、通信、处理、反馈的IT 化系统解决方案。在产品层面，监控系统平台的储存、传输与服务器技术更依赖于IT技术。未来基于大数据处理提供智能分析也需要IT技术的支撑。
　　而安防企业需要做的，便是积极加强内功，提高研发能力，加强技术储备，应对更大数据量带来的冲击。后期安防厂家会进行分化，部分传统安防厂家更加专注于某固定安防领域继续深耕，专注于产品和技术，一部分安防厂家会向大安防集成平台转变，专注于业务整合和数据分析处理。