搜索
大数据中国 首页 大数据技术 查看内容
说的简单,大数据真的那么容易落地吗?
2014-2-13 01:13 | 查看: 14834| 评论: 2

垃圾数据?必须清洗掉!

前面我们说了每天大数据数量成指数倍的激增趋势,那么对于数据质量的强化和过滤分析也就让很多厂商头疼了,在这一堆庞大的数据面前,垃圾数据以及很多无用的数据不可避免,然而它们也会给我们的机房乃至数据中心带来数据处理上的压力和负担。

1

垃圾数据一旦产生,就需要我们在数据处理的过程当中,对垃圾数据进行过滤和清洗,并且自动决策这些数据的去留,这样的环境下,如果选择了一个坏的数据,就会像病毒一样,可能引发连续的错误决策,甚至让企业蒙受经济损失。试想一下,利用不同算法在股市进行交易,每天以毫秒计时的股市,一旦出现任何数据分析或者垃圾数据的事故,这个经济损失是不可估量的。

1

现在,随着大数据的飞速发展,数据质量已经形成了服务级别协议的重要参数,那些无法被屏蔽掉的劣质数据提供商将会被自动列入黑名单,并且还会面临很严重的经济处罚,B2B行业为早期数据质量的入局者,他们非常重视数据的质量,来保持商业运作时的稳定性。甚至,许多企业计划为数据质量部署实时的警告系统,这些警告会被发送于负责相应问题的专员,由他们提供问题的解决方案。

2

机器学习系统部署在一个闭环的生态中,通过模式分析与其他的数据分析技术,细化原来的数据质量规则。而高质量的数据,能够保证机器进行正确的行为模式分析。

免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除
发表评论

最新评论

引用 觳觫也 2017-8-11 15:20
不错的分享
引用 狂奔的猪 2016-12-10 17:53
谢谢分享。。。。。

查看全部评论(2)

关闭

站长推荐上一条 /1 下一条

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-12-22 15:27 , Processed in 0.083817 second(s), 23 queries .

返回顶部