搜索
查看: 2453|: 0

大数据时代数据科学家抢手

[复制链接]

167

主题

4

回帖

573

积分

管理员

积分
573
发表于 2014-10-17 16:31:07 | 显示全部楼层 |阅读模式
  在业界继续追捧“大数据”概念的同时,随之出现的数据科学家们也开始变得炙手可热,更是被《哈佛商业评论》称之为21世纪最性感的工作。

  无论是埃森哲还是麦肯锡(二者都属于咨询公司),都先后发布报告称,对于数据科学家的需求缺口愈加扩大,并将持续相当长的时间。在这种背景下,如何培养并招揽有高技能的数据人才,是各个有意发展大数据业务公司的重点之一。

  资深互联网评论人士谢文昨日告诉早报记者,当下的教育系统并未准备好培养适应大数据时代的人才,“数据挖掘人才、编程人才等都是大数据时代所需,但最重要的是大数据理念的形成。”

  综合性技能

  到底具有哪些技能的人才是数据科学家?《哈佛商业评论》将这群人定义为,集“数据黑客、分析师、沟通大师和受信任的顾问”于一身。

  去年10月出版的《哈佛商业评论》指出,目前没有任何一个大学有数据科学的学位,同时对于数据科学家到底是何企业中的何种职位,如何能让他们发挥最大价值,以及如何衡量其表现,都没有形成共识。

  该文章指出,大量的分析师很善于分析数据,但却没能力在一堆混乱无结构的数据中分析,也无法将这些混乱数据转换为可供分析的形式,“一个数据管理专家面对排序良好的数据时,很得心应手,但不会将这些数据变得更有秩序,也不是真正在分析数据。”

  一个好的数据科学家,应该在数据中“畅游”的同时发现一些有价值的线索,对商业行为给出新的指导意见,即便是遇到一些技术瓶颈,也不会影响其对新颖解决方案的追求,更会创新地展示视觉化信息,解读数据,告诉公司管理层。

  《哈佛商业评论》认为,编写程序是这些数据科学家的基本功,但五年后也许会发生改变,这群人的技能会是用易于理解的语言去沟通,并能用数据讲故事的手段来表达,当然内心强烈的好奇心也是必备条件之一。

  尽管至今尚未有数据分析的学科,但不少数据科学家都在计算机科学、数学或者经济学方面受过教育。

  网址缩短服务商Bit.ly的首席科学家希拉里·梅森认为,一个数据科学家必须拥有三大技能,“他们能获得数据流,并用数学方式建模,同时拥有这些数学建模技能……最后他们能从这些数据中获得一些见解,并能讲出一个故事。”

  而将这些数据转化为信息,再转化为实际行动的难度,正是摆在这些数据人才面前最大的挑战。《华尔街日报》称,这要求对于商业有着足够深的理解,知道如何来问问题,现在不少公司面临的问题是,他们不明白自己不知道哪些东西,数据分析师不仅仅是去寻找散落的金子,而是发现新金子,并将之转化为实际行动。

  大数据公司Context Relavant首席执行官兼首席技术官斯蒂芬·普普拉在接受ZDnet采访时则表示,业界对于数据科学家的定位是,有形象化项目的能力,通过研究数据为公司赚钱,并将这些数据转换成统计过程,推测是否应该投资等,这些人还应该具有统计学技能、商业头脑以及高超的编程技巧,知道如何处理普通编程者无解的问题,这让这群人变得很稀少。

  培养难题

  数据科学家的缺口到底有多大?

  埃森哲今年发布的《数据分析在行动:通向高投资回报率之路的突破与壁垒》预计,到2018年,光美国和英国,需要具备高深科学、技术、工程和数学(STEM)知识的职位的增长速度将是其他职业的五倍,是金融服务等信息密集型行业职位的四倍。

  麦肯锡甚至在2011年就发布报告称,预计美国需要额外的150万名专业人才,可以给出准确的问题,并有效利用分析结构,而这些就是所谓的数据科学家。

  尽管人才稀缺,但不少美国和英国公司已经开始着手布置负责数据分析的高管,埃森哲的调查显示,三分之二的企业在过去18个月中任命了负责数据管理和分析工作的高管。

  猎头公司也盯上了这块抢手资源,甚至拥有大数据专家,以应对竞争激烈的市场。

  虽然企业对于数据科学家需求旺盛,但眼下培养一名真正意义的数据科学家却并不容易。

  谢文表示,目前大学中并不存在系统科学的训练,来应对大数据时代,而计算机科学和统计学等理念还是前大数据时代遗留下来的,“这个本身需要重新定义,教育系统尚未准备好,即便是对专家的再培训,也并不一定适应大数据时代。”

  在高等教育系统下无法提供专业人才后,不少公司都将目光转向内部挖潜、员工培训。基于Hadoop框架设计的软件和服务提供商Cloudera有自己的“Cloudera大学”,而竞争对手MapR也拥有“MapR学院”。

  一直在大数据应用方面走在前列的IBM则表示,自己已经与美国顶尖大学联合开发课程,培养数据科学家,与北京交通大学也联手开发信息管理方向的系列课程,培养大数据时代所需要的人才。

  不过,英国《金融时报》援引埃森哲北美金融服务数据分析部门执行董事布莱恩·麦卡锡的话称,对IT专家的再培训,能在一定程度上缓解资深人才短缺的局面,但问题是还需要改变思维模式。

  谢文认为,目前拥有数据挖掘、统计学、社会学以及网络服务背景的人才,最接近于大数据时代的所需,谁能负担起培训成本,率先探索就有先发优势。

  “但最重要的是形成理念和思维方式,首先要有大数据的世界观,未来无论是人类社会还是物质社会,将被数据化后形成数字化地球,其次是现行商业模式、行为模式以及社会管理方式的改变,最后才能去谈论如何培养人才。”谢文说道。

  数据分析的客观性之忧

  值得注意的是,随着数据化的深入和应用,对于大数据应用安全和准确性的担忧声音也在日益加剧。

  英国剑桥大学心理测量学中心研究员米哈乌·科辛斯基称,根据收集到的用户数据对用户行为和喜好进行推测,既可以为善,也可以作恶,尤其被广告商不当利用之时,就可以把顾客玩弄于股掌之中。

  不仅仅是个人信息的滥用,还有学者担忧数据分析的客观性。

  麻省理工学院公民媒体中心访问学者凯特·克劳福认为,由于数据科学家根据统计方式或者预设的程序,能从海量无序的数据中提炼出相关信息,却不能确保这些数据一定是客观的,因为都是人为设定的程序,存在偏差。克劳福以桑迪飓风期间Twitter上的推文为例,称讨论桑迪话题最多的是未受影响的曼哈顿地区,而真正受影响的却很少发出推文。

  克劳福称,如何解决大数据科学中潜在的认识偏差问题,短期内数据科学家应该学习社会科学家的一些方法论,知道数据来自哪里,采用何种方法来收集和分析等。从长期来看,应该知道如何通过小规模的数据的研究来获得大数据的方法论。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-24 00:12 , Processed in 0.090232 second(s), 25 queries .

快速回复 返回顶部 返回列表