百度沈志勇分享大数据背后的故事

IT市场

　　10月17日，QCon2014年全球软件开发大会在上海光大会展中心举办，作为全球顶级的技术盛会，QCon每年都会在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。

　　会上，百度研究院大数据实验室科学家沈志勇做了主题为《从数据到智能》的主题演讲，着重向业界介绍了百度大数据引擎以及大数据智能分析应用案例等内容。分享了百度大数据智能分析技术的构想，同时结合项目中的实践，通过一些具体的案例分析，为大家介绍基于百度大数据智能分析领域的一些技术与经验。

　　随着互联网的不断发展普及，大数据一直是一个互联网界乃至全行业最热门的话题，同时也被认为是下一个创新竞争和生产力的前沿。再加上百度大数据在业内的各种领先技术，沈志勇的演讲无疑成了本届QCon最火爆的现场之一。



　　沈志勇表示，百度希望凭借自己的大数据智能挖掘技术，与整个产业界实现在大数据上的“共同富裕”。

　　大数据时代来临 百度注定会是一只领头羊

　　我们都处在一个信息爆炸的社会，我们感知世界的方式可以通过搜索等手段转化成数据，在国内，百度无疑是搜索领域的领头羊，人们每天用百度搜索，当用户搜索行为被记录下来后，数据就形成了。

　　仅从百度的搜索业务看，作为国内最大的搜索引擎,每天要索引天量的网页,同时响应天量的用户搜索请求。根据沈志勇介绍，目前百度拥有2000PB的大数据存储能力，并且通过数据分析、数据挖掘等手段，百度每天可以处理10-100PB的数据量。在大数据领域上，搜索引擎的数据搜集能力，或者说产生数据的能力毋庸置疑，这也促使百度将这方面的技术运用的炉火纯青，可以说百度天生就是一家大数据公司。

　　其实在大数据的处理方面，智能分析已经越来越引起业界的重视关联和挖掘大数据已经成了业界最为关心的事情，无论是银行、保险、电信，还是传统软件厂商、互联网公司、创业公司，都能够借助大数据让自己的生产和运营更为顺畅。

　　可是由于条件所限，很多公司自己做不了大数据，正是看到了这一点，百度做为国内最早进行大数据技术研究的公司之一，大数据技术领域“先富起来的人”，在寻找“先富带动后富”的，希望能与整个产业界，实现在大数据上的“共同富裕”。

　　在互联网时代，一个公司想要发展用户体验、实现商业变现、制定决策系统等，离不开大数据智能分析技术的支持。百度在智能分析技术的很多积累，尤其是应用于广告的超大规模机器学习技术在世界上是领先的。

　　“如今，百度专门成立了大数据实验室BDL，并且百度大数据引擎还将百度大脑、百度数据工厂、百度开放云作为3级开放平台开放给业界，希望能够凭借百度的大数据技术推动整个行业的发展。”沈志勇说。

　　大数据的魔力 从预测旅游到预测体育

　　在现场，最令听众感兴趣是沈志勇分享的百度预测项目实践。沈志勇通过小伙伴们支持的百度大数据部的旅游预测项目和世界杯预测项目向大家阐述了基于百度大数据的预测中的一些技术与经验。

　　沈志勇表示，人流量预测一直是旅游行业的一大难题，旅游管理机构和旅游目的地企业都渴望做到对未来“心中有数”，可是结果往往不甚理想。百度旅游预测基于百度大数据的预测模型。一方面，百度通过其LBS产品反映了全国所有景区的历史人流数据;另一方面，从百度的搜索日志中，得知用户想去的任何景点旅游的需求数据，以及该地在近期将举办的大型活动、民俗集会等相关信息，还可以获取对应时间下的天气、空气质量等数据。“这些数据通常是按照时间排列的一系列数值，这些因素对目标数值影响的效果在我们采用的模型中被量化、系统化，进而可以预测将来。”沈志勇说。

　　百度对于人流量的精准预测得到了社会的普遍肯定，小长假期间被央视等各大媒体作为预测范本报道宣传。可以说百度预测的出现无论对旅游行业宏观把握和调控，还是对目的地营销活动的引导，以及对旅游人流流向和流量的调整，都具有很大的现实意义。

　　另一个典型的案例是世界杯预测：在2014年世界杯比赛中，包括Yahoo、微软、Google在内的互联网公司对比赛进行了基于大数据分析的预测。结果百度的预测是最准确的，独冠群雄。

　　除了上述的两类预测，百度目前还与中国疾病预防控制中心进行合作，基于百度搜索数据来构建传染病预测模型，结果显示与病例实际数据具有极高的一致性。同时百度预测也可以进行经济指数预测、高考预测，并且百度还开放了预测开放平台给业界，如果你有历史数据，希望预测未来走势可以通过预测开放平台进行预测。

　　大数据的未来 民生、企业都能惠及的巨大价值

　　沈志勇指出，除了预测，百度大数据实验室还有很多正在探索的方向，这些方向既有惠及民生的，也有服务企业，了解企业需求和真正“痛点”，提供完整的预测解决方案，可以帮助企业实现智能运维/运营。

　　一个典型的例子是，百度基于对海量大数据的智能分析，可以对使用百度产品的用户进行画像，即通过用户输入的搜索词来理解用户的意图，从而就能实现个性化的精准广告推荐提升用户对广告的点击率和对产品的订单转化率。

　　在惠及民生的公益事业方面，近日，百度已经和联合国签署协议，建立了大数据联合实验室。该实验室的成立意味着百度将利用自身大数据技术帮助联合国去解决一些全球性问题。同时，联合国把百度视为合作伙伴，也说明了百度在大数据智能分析领域的技术实力以及在创新能力上的先进性。

　　无论是惠及民生的预测还是惠及企业的预测，这些预测能力的背后，都是百度强大的数据挖掘和人工智能算法。业内人士指出，现在，很多行业快速积累了大量的数据，但苦于没有数据分析的技术，无法看透数据中蕴藏的无限价值。百度智能分析技术的出现给了业界关于大数据挖掘的全新可能。

　　沈志勇透露，百度是一个大数据公司，有着非常大的数据量，这些信息最终产生了价值，而随着互联网的不断发展目前这些价值正在向连接人与服务的方向发展。未来，百度将持续大力投入发展智能分析技术，并希望开放数据处理能力，把数据思维引入、渗透到传统行业来促使产业升级。希望未来百度的大数据智能分析技术能够和行业深度融合，和传统行业、互联网同行一起挖掘出大数据的价值，更好的把控未来。