大数据下网络视频类用户行为分析

缺鼻子少眼

我们生活的时代是信息爆炸的时代，伴随信息数量的井喷式增长，一个最新的概念——“大数据”也随之兴起，并逐渐开始影响包括传媒产业在内的各行各业的经营理念和操作方式。大数据在网络视频领域的应用和对用户行为的分析，已经展现出其日渐改变视听产业的理念、业态、调查方式和经营管理方式，大数据已成为人们感知社会、改变社会的一个重要方式和工具。

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

一、大数据的基本特征

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大地拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博、微信）、物联网、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）等行业都在疯狂产生着数据。

数据的单位从小到大依次为Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，相邻单位之间相差进率为1024。我们日常生活中接触较多的是前5个，但大数据的单位却几乎是从TB才开始的。在2006年，个人用户刚刚迈进TB时代，全球一共新产生了约180EB的数据，在2011年，这个数字达到了1.8ZB。根据著名市场研究机构IDC的预测，到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB。想驾驭这些庞大的数据，我们必须了解大数据的基本特征。

一是体量大（Volume）。据统计，互联网一天产生的全部内容可以制作1.68亿张DVD，一天发出2940亿封邮件以及200万个帖子。这些数据都表明，互联网时代，社交网络、电子商务与移动通信把人类带入了一个以“PB”为单位的新时代，PB化已经成为比较常态的情况。大数据中的“大”除了大量的意思外，还有全局的概念，所有的数据都聚集在这里。

二是多样化（Variety）。从形式上看，如今的数据类型早已不是单一的文本形式，海量数据有不同的格式，订单、日志、音频对人们的处理能力提出了更高的要求。从结构上看，数据分为结构化、半结构化、非结构化数据，其中非结构化数据正以很高的速率增长，占总数据量的80%～90%，比结构化数据增长快10到50倍，是传统数据仓库的10到50倍。

三是价值高（Value）。网络每天都会产生大量的不相关信息，这些未经过处理的原始材料属于价值密度低的数据，需要人们沙里淘金。以视频为例，一部1小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是目前大数据汹涌背景下亟待解决的难题。

四是速度快（Velocity）。大数据的产生速度相当快，包括股票、资讯等各方面的信息随时都在传输。由于数据化存在时效性，需要快速处理并得到结果，实时获取需要的信息。比如说一些电商数据，今天的信息不经处理就不能产生有效的结果，这将会影响到今天捕获很多商业决策，因此在海量的数据面前，处理数据的效率就是企业的生命。［1］

二、大数据与传统数据的价值差异

大数据包括交易数据和交互数据集在内的所有数据集，具体由海量交易数据、海量交互数据和海量处理数据三种主要技术汇聚组成。

海量交易数据指企业内部的经营交易信息数据，主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。

海量交互数据来自Facebook、Twitter、LinkedIn及其他来源的社交媒体数据。它包括呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等。这些数据可以告诉我们未来会发生什么。

海量数据处理是一种应对复杂、海量数据的能力，大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop，难题在于以具备成本效益的方式快速可靠地从Hadoop中存取数据。

有人说，大数据是对传统数据的终结和替代。这种观点并不被学者们普遍接受。但大数据的价值和处理方式的确与传统数据有很大程度的不同。

在宗旨上，传统数据处理遵循的是固化业务优于高效，高效优于发现业务。整体上讲这是一种求稳策略。而大数据处理却将传统方法的顺序整体颠倒过来，首先是发现业务，其次是高效，最后是固化业务。

在数据特点上，传统数据面对的一般是企业内部数据，数据量一般不会超过10亿量级。大数据处理的却是多样化的数据，从数据来源上有内部和外部，数据结构上有结构化和非结构化，数据量可处理xPB级。

在技术手段上，传统数据处理方法使用商务智能的开源RDBMS，昂贵的分析挖掘工具，甚至是商用集群。大数据处理方法则更多的是使用开源技术，更注重数据本身，使用多种技术解决业务问题。

在场景上，传统数据主要处理实时、事务性、在线业务，而大数据则会处理大量的批量数据和少量的在线实时型数据。总而言之，传统数据是以业务为中心，大数据则是以数据为中心，数据为业务服务。

三、网络视频类用户行为分析

（一）中国网络视频发展的现状。中国互联网络信息中心(CNNIC)发布的《第33次中国互联网络发展状况统计报告》显示，截至2013年12月，中国网络视频用户规模达4.28亿，较上年底增加5637万人，增长率为15.2%。网络视频使用率为69.3%，与上年底相比增长3.4个百分点，而且这一规模依旧呈现出持续稳定上升的态势。在收看新电影、热播剧方面，网络视频已经成为网民的首选。上述报告还显示，在收看电视剧的渠道选择偏好上，“基本通过网上收看的比例为28.7%，大部分通过网上看，偶尔在电视上看”的用户占25%，可以说网络视频已经分流了传统电视剧播放超过50%的收看渠道。网络视频有着收看时间自由、播放时长不受限制、广告插播次数少等特点，很好地避免了传统电视媒体稍纵即逝、被动接受、插播广告等先天性劣势，迎合了用户的需求。目前主流的网络视频媒体有十余家，包括优酷土豆、搜狐视频、PPS网络电视、迅雷看看、爱奇艺、乐视网、酷6等等。一些网站的用户重合度较高，比如搜狐视频与优酷（40%）、搜狐视频与土豆（41.2%）［1］，用户还未对特定的视频网站持较高的忠诚度，网站之间的用户流动性大。对于视频网站来说，丰富网站资源、加快更新速度是提高用户黏性的关键。

（二）中国网络视频用户的收看方式。据调研，通过搜索引擎进入视频网站仍然是当前用户收看视频的最主要方式。当想收看某个视频时，35.1%的用户首先通过搜索引擎找到视频后收看，这类用户还未对特定视频网站形成忠诚度。有小部分用户形成了直接登录视频网站的习惯，甚至通过下载安装的视频客户端寻找视频。

用户主要通过PC电脑上网看视频，使用比例高达96%，与此同时，使用移动设备（手机、平板）上网看视频的比例也达到了49.4%。［1］随着移动设备性能提高、视频客户端质量提升，移动网络视频也逐渐被人们所接受。

（三）中国网络视频用户行为的监测形式。在互联网领域不断涌现的新业务中，网络视频业务无疑是最受人关注的业务，但同时也是网络中带宽需求最大的一个部分。对用户的网络行为进行监测是网络视频得以成功发展和推广的关键，通过监测了解用户的搜索、观看与反馈行为，反映真实的视频品质，准确地分析视频业务中的亮点与问题，进而提升用户体验质量。

具体而言，这些监测行为包括手机App、微博、百度搜索等。手机App可产生用户反馈，如搜狐视频、爱奇艺都有自己的手机客户端，通过客户端即可获得一部分忠实用户的数据。此外，微博上用户所发表的意见或形成的讨论也是十分有价值的信息，许多人将微博作为自己首要的发声场所。百度搜索是目前为止网络上最为重要的数据来源，因为每天都有数以亿计的网民在搜索栏中输入无数词条，这些词条的价值是无法想象的，并且根据一些关键词还会产生文章的推荐链接，通过这些都可以勾画出用户的网络行为。

最为完整、时时刻刻都在记录用户行为的当数Cookie，人们称Cookie“像网络身份证一样收集用户数据”。它能够让网络服务器把数据存储到用户的硬盘，之后再从硬盘中读取数据。它与各浏览器结合，针对每一个电脑用户产生一个独特的识别码，记录用户的ID、密码、曝光频次、视频点击次数、视频点击位、浏览过的网页等等。用户的每一次访问都会记录，数据量巨大，正因为如此，Cookie往往只有数月的存活期。

行为数据的获取整体上有两个途径，即插码在线采集和线下数据导入。通过在页面上嵌入JS代码，采集用户在线行为数据，这些行为包括搜索、点击、下载、收藏、评论、分享、邀请、标注、上传、评分，甚至包括页面停留时间、滚动、悬停、回退等细微行为。线下数据导入是指定期更新传输协议，离线爬取内容数据，获取用户信息与资讯内容。

（四）中国网络视频用户的行为评估指标。获取数据的意义在于对数据进行评估，以指导今后的战略调整与制定，这些评估指标包括以下几项：曝光量，即视频展示了多少次；曝光人数，即有多少人看了视频；点击数，即视频点击次数；点击人数，即视频点击人数；点击率，即每100次曝光产生多少次点击；UV点击率，即每100个看视频的人有多少人点击了该视频。更为重要的四个指标是眼球系数、网络千人成本、互动数与蹦失率。

眼球系数指每个点位吸引浏览者眼球的能力指数，由红外眼动仪测量吸引时间、吸引时长等计算得出。网络千人成本指某一视频在网络上每曝光1000名目标受众所花成本。互动数是指参与互动如访问内容页、上传下载、评论、分享、游戏等活动网站互动的人数。蹦失率是访问页面人中没有作任何点击就离开页面的人占总人数的比率为多少。

（五）中国网络视频用户的人群特征。由IP库或者手机定位技术可分析节目源受众人群的地理分布，结合网站行为数据还可了解不同地区观众对节目的满意程度。按照用户对网络视频的依赖程度由低到高，用户可以分为初级用户、中级用户、高度依赖用户和最深度用户。初级用户相对保守，很少移动上网，在信息接收上以被动为主。最深度用户则经常接触App类媒体，频繁移动上网，网络社交行为频繁，依赖生活化和本地化的移动服务。

（六）视频网站的访问路径分析与用户追踪。通过记录不同来源的访客浏览时的访问顺序，掌握活动网站的关键路径和结构上的漏洞，之后针对结构的不合理之处进行优化提高。同时利用用户的Cookie记录的浏览者不同行为，可以将人群进行分类，并在未来通过分类标志找到他们，以达到被视频影响过的人群不管到哪里都可以找回来的目标。通过重定向对贴上标签的人群进行精准追踪，可以获得很好的效果。

（七）网络视频用户行为分析的数据挖掘技术。

1．网络数据流挖掘。如何对视频用户产生的网络数据进行分析，并从中得到有效信息是当下业界研究的热点。当然对网络数据进行分析的前提是网络数据流的挖掘。

网络数据流挖掘指的是通过互联网爬虫实时了解网络信息，包括互联网上有哪些突发主题，主题的来源、传播与分布，主题的影响力等等。这种技术的挑战之一在于时间对信息的影响，在准确性上，多个流上发生在同时间段的不同主题可能被混淆为一个，也可能找到多个时间分布不同但语义相同的重复主题。正因为可能会找到重复主题，在主题数目一定的情况下，势必会丢失某些其他重要主题。挑战之二在于针对突发或新兴事件的资源不足，在突发事件上，人们总是选择基于历史数据进行分析挖掘，但这样往往效果不好，不仅成本高，而且在时效上也难以满足需求，如何更有效地借助不同但相关的资源是需要考虑的一大问题。

2.短文本挖掘。短文本是一种早已广泛存在并且得到越来越多关注的一种信息形式，键入搜索引擎的词条、聊天室对话、新闻标题、状态信息等都是短文本的存在地。通过短文本分析将信息分类为“垃圾信息”和“非垃圾信息”，并识别出用户属于哪个用户群类别，针对不同的类别还可以进行广告精准投放。短文本挖掘的主要挑战是信息稀疏，给分析带来一定的挑战。

3.可视数据挖掘。如今数据的表达方式越来越多，各种媒体数据混杂出现。在挖掘分析数据时，往往对图像进行关键词标注处理，根据图像的底层特征，自动找出能够有效描述其语义内容的文本标签。而对文本则进行图像化的描述，根据文本的内容，自动找出能够有效描述其内容的图像。这种方法的宗旨在于尽可能等价地将图像与文本互相转化，便于统一索引、存储、管理和检索，可以有效提高数据挖掘结果的可信度、可理解性和可用性。

综上所述，大数据技术已经和视听媒介产业密不可分，并且将日渐改变中国视听产业的理念、业态、调查方式和经营管理方式。当然，大数据纵然可以改变一切，但不能代替一切，更不可能任何事情、任何场合、任何时候都能用得上大数据。因此，在认识和运用大数据的时候，视听产业或企业也必须充分认识到其局限性，用长弃短，切忌跟风炒作，更不要迷信神化。