大数据：2017年的主要发展和2018年的主要趋势

行云流水2016

为了总结2017年，我们最近向大数据，数据科学，人工智能和机器学习领域的一些顶尖专家征询了他们对2017年最重要的发展和2018年的主要发展趋势的看法。这篇文章是本系列的第一篇，在这样的年终总结中，考虑了今年在大数据方面发生的事情，以及2018年可能会出现的情况。

我们主要问专家们这两个方面：

“2017年与大数据相关的主要发展是什么？2018年您会看到哪些关键趋势？”

我们征求了许多人的回应，并要求他们回答200字左右，作为一个快速回顾，去年的趋势和预测集中在以下主要议题上：

• 安全和隐私
• 云在数据管理中的作用越来越大
• 物联网在数据生成中的作用
  

不可否认的是，大数据不再是以前的样子，请注意，该术语在2015年从Gartner曲线中消失了。现在我们都假设并理解我们的日常数据是巨大的，将大数据视为需要妥善管理的实体或概念仍然是有价值的，这种实体与各种方式的小规模数据库不同。

了解年度最重要的发展动态，并了解我们的专家认为大数据将在2018年的发展趋势，请阅读以下内容。

Marcus Borba是一名数据和分析专家，Borba Consulting的创始人和首席顾问。

2017年, 大数据肯定不再是一个时髦词, 而且我们越来越不太可能使用术语“大数据”, 我们只是调用数据。这些公司正从大数据方法转变为业务驱动的数据方法, 侧重于使用大数据分析能力的灵活性, 使用它来驱动初始的和长期的业务价值。

展望2018年，将是大数据与其他技术融合发展的一年。 随着机器学习的应用越来越广泛，人工智能变得越来越智能化，物联网使用增长越来越快，以及大数据分析采用云优先策略将使越来越多的智能技术能够融入到各种类型的企业中——解决方案，产品和服务，使人和公司能够充分利用它们。

Craig Brown博士是大数据，数据科学，数据库技术方面的社会影响者和专家。

2017年，有几个领域比我预期的更受关注。物联网时代起步较早，人工智能和机器学习也获得了相当的推动力，数据科学开始获得更多的动力。基于2017年新的数据平台发布，混合数据管理和混合云已经有了新的趋势。 2017年已经成为战略和重新评估的一年。大数据仍然是战略的一部分，但不太重视Hadoop，更重视数据管理，数据可视化和混合云。

我认为2018年将有几个领域成为焦点。大数据项目将以更实际的使用情况来减少失败。随着数据平台的不断成熟，数据流将会有质的飞跃。 2018年将更加重视NoSQL，最终将被确立为结构化和非结构化数据（包括TRANSACTION数据）的现实解决方案。软件开发将成为焦点，因为这些数据趋势开始推动对数据管理新功能的需求。 2018年将是Hadoop和NoSQL（数据平台）采用的开始。

Vasant Dhar是纽约大学教授，《大数据》总编辑，SCT Capital Management创始人。

对于大数据来说，2017年是一个大年。关于大数据对社会的影响，出现了几个广泛的新主题。一个重要的发展是承认假新闻和滥用社交媒体平台，这是2017年12月“计算宣传大数据”特刊的主题。不受管制的数字平台给自由民主社会带来了严重的风险，因此，迫切需要进行研究，以便了解它们在宣传中的用途以及如何减轻它们造成的风险。大数据2017年12月提供了关于这个重要主题的第一套学术文章。我希望今后在这方面有更多的研究。

在开展“歧视意识”数据科学方面，公平，偏见和道德方面的考虑也颇受关注，这也是2017年6月“社会和技术权衡”大数据问题的主题。我期望看到更多的研究关于这个主题，我们将探讨像准确性这样的目标最大化和社会目标之间的权衡，比如需要对总体目标函数进行微妙表述的“公平”权衡，对数据和可能嵌入其中的假设或偏见进行严格检查。

在技术方面，我们继续看到新的算法的出现，特别是在深度学习空间，由感知领域的大量数据集所推动。随着系统在查看、阅读和处理非结构化数据方面变得更好，而且随着识别精度的提高，我们应该期望在自动车辆，语言处理和非结构化数据的整体解释方面取得突飞猛进的进展。我不会惊讶地发现智能系统能够解释和翻译视频图像，以在各种应用中学习算法。例如，体育已经越来越受到数据驱动，我们很可能会看到在团队和个人层面出现教练工具和系统。虚拟现实是处理全动态视频数据的另一个领域，将引领一些领域的新颖应用。

最后，自然科学和健康科学正在看到大数据和机器学习的巨大潜力。许多物理学家已经接受了新的方法，甚至有助于开发以新的方式解释天文数据或粒子数据的方法。同样，在医学成像中也有很多活动将这些数据与医疗条件联系起来，这种关系之前是没有想到的。这是一个可能在数据和健康之间发现大量有趣关系的舞台。

总的来说，2018年，科学，商业和政府部门使用大数据的速度将加快。在科学中，我们正在看到利用数据进行理论发展。在业务中，我们看到云部署创造了新的效率，部署了预测分析来提高决策和效率。政府和法规侧重于安全性，关键系统的稳定性和更好的治理。 2018年将是这些领域取得长足进步的一年。

Doug Laney是副总裁兼杰出分析师，Gartner首席数据官研究员，“Infonomics”杂志作者（2011年9月）。

到目前为止，过去一年中最大的数据和分析故事是人工智能的复苏——这是数据科学家的主要工具，也是从一系列可用的信息资产中获取价值的手段。越来越多的组织机构不再使用分析项目来生成漂亮的饼图和仪表盘，而是倾向于自动优化发现决策和流程。 Gartner分析师去年仅就这个问题处理了近一万个客户的问询。

至于来年，我所看到的主要趋势是比技术更具战略性：

• 传统的资产管理原则和实践（如供应链，ITAM，记录管理）应用于管理信息作为实际资产。这将包括盘点信息，衡量信息管理的成熟度，最终导致合作伙伴之间扩展的信息生态系统。
• 对合作伙伴，供应商和其他第三方的外部信息资产进行正式、积极的管理，以提供改进的领先指标。
• 信息资产的内部和外部的直接和间接货币化，以及通过新兴的数据市场进行扩大。
• 数据治理努力将数据“所有者”无益的概念放在了“受托人”的地位，并将数据管理者的角色扩大到包括信息宣传。
• 主要关注数据相关合规性，甚至自动化。
• 量化一个人的信息资产的价值。（即使会计界对信息时代依然不知情）。
• 信息独特的经济属性（“infonomics”）的认可和利用。
• CDO角色的主流化，IT组织的分化为单独的“I”和“T”组。
  

Yves Mulkers是商业智能和数据架构师，社交媒体影响者，7wData创始人。

在2017年的头几个月里，我们仍然在谈论大数据，但是第一季度之后，所有的物联网都是这样，一年半过去了，我们不得不腾出空间去做人工智能和深度学习。

对于我们中的技术人员来说，Spark得到了所需的牵引力和注意力，主要功能得到了改进。

加快产品上市时间，为供应商，自助服务数据科学和商务智能提供优秀的USP，ETL自动化具有更大的知名度和兴趣。

同样的道理，新的供应商会带来更多的“无ETL”解决方案，以避免建模和实际存储数据，甚至可以开始分析。

数据科学准备平台获得了更多的SQL，因为这是我们大多数数据专家仍然掌握最好的语言。

物联网为分析创造了巨大的机遇，或者反过来也是如此。无论如何，分析显示了物联网数据的价值。这为计算带来了新的方法，并且随着IoT引入的大量数据，计算正在转移到数据所在的边缘。

随着2018年5月即将到来，我们对欧洲GDPR法规（以一定的方式）给予了很大的鼓舞。这一举措使公司最终重新审视数据流和数据架构。它最终将帮助企业了解他们的数据真的是一笔资产，并且需要这样处理。

几起严重的数据泄露，引起了网络安全的关注，一个早上醒来的电话来保护你的数据中心。

2018年将带来什么？

更多的数据。人工智能和深度学习将会持续成熟，但需要更多的时间来证明他们的成功和使用案例。 AI也开始在数据科学中发挥更大的作用，帮助（而不是取代）数据科学家。

数据科学平台越来越多地转向云，但混合云正在潜伏并提供云端，这是一种两全其美的方式。

GPU DB已经在2016年年底浮出水面，但与强大的内存架构相结合，主要厂商的新芯片组得到了高度的关注，性能提高了100 - 1000倍。

不要忘记，区块链即将到来，为分布式安全的数据存储提供更高的安全性和新的方式。

​

Mark van Rijmenam是dscvr.it＆Datafloq的创始人，他是国际知名的大数据和区块链战略家和主题演讲人。

对于大数据来说，2017年是一个好年头。在我对2017年的趋势预测中，我把它称为情报年。我们看到，人工智能在深入学习的道路上迈出了一大步，开发出了各自为战的AI。另外，我们看到会话AI（也叫做聊天机器人）正在与很多开发聊天机器人的组织一起开始改善客户服务。在大数据领域，预测分析现在已经成为组织保持竞争优势的先决条件，使每个组织都成为一个数据组织。

2018年将成为技术上又一个令人兴奋的一年。我把它称为过渡年，因为可以肯定地说我们已经过了70年代的信息革命，并正在走向第四次工业革命。但是，我们还没有这样做，许多技术需要多年的发展才能真正引起社会和组织的规范转变。

尽管如此，2018年人工智能将会变得更加智能化，这一次没有经过人体数据的训练，消除了结果偏差的可能性。区块链，特别是ICO将变得更加规范，我们将在量子计算领域看到真正的军备竞赛。所有这些额外的处理能力将帮助组织转向规范分析，并帮助他们从大数据分析的最后阶段中受益。

欢迎关注“壹看板”，数据分析工具免费试用！