8日，阿里云计算发布核武级大数据产品——odps。通过odps在线服务，小型公司花几百元即可分析海量数据。odps可在6小时内处理100pb数据，相当于1亿部高清电影。此前，全球掌握这种能力的公司屈指可数，如google、亚马逊等。 五年间，阿里云的工程师们写下250万行代码，不断打磨odps。该团队在一封公开信中描述：“把数据海洋里的水灌进odps，设定好一套参数，拧开水龙头，出来的就是鲜榨果汁！”对比工业时代，odps相当于大数据时代的流水生产线，水龙头里流出来的“果汁”，随原始数据和算法的改变而千变万化。 公开信中表示：工业革命后的200多年里，人类对物理资源的利用登峰造极，对数据资源的利用却仍处于起步阶段。google、facebook、阿里巴巴等互联网公司先行一步，触碰到了大数据的魅力。然而，人类拥有的绝大部分数据还无法产生价值。 采用传统方案处理大规模数据，一般得耗资数千万自建数据中心，请专业技术人员维护运作。一旦数据总量超过100tb，技术挑战会非常大。hadoop开源运动降低了这一成本，不过自建一个像样的hadoop集群，仍然需要上百万的起步资金。专业的hadoop人才则更加稀缺。 相比而言，使用odps的成本和门槛则低得多。odps采取按量收费的模式，目前定价0.3元/gb，即开即用，一个月内免费。根据大部分公司的数据量来测算，一般每月只需花费数百元。 在对外商用之前，odps一直是阿里巴巴内部的秘密武器。阿里小贷最先将odps应用到商业领域。如今，超过36万人从阿里小贷借款，最小贷款额为1元，并实现3分钟申请、1秒放款、0人工干预。要做到这一点，阿里小贷每天得处理30pb数据，包括店铺等级、收藏、评价等800亿个信息项，运算100多个数据模型，甚至得测评小企业主对假设情景的掩饰和撒谎程度。阿里小贷每笔贷款成本3毛钱，不到普通银行的1/1000。 据悉，淘宝、支付宝等阿里巴巴最核心的数据业务，都运行在odps平台。比如阿里妈妈广告的核心算法，点击预测模型的训练等。odps商用，意味着阿里云将这种大数据处理能力对外开放，此举将大幅降低社会创新成本。 在公共领域，odps也具备广泛应用的潜力：华大基因利用odps进行基因测序，耗时不到传统方式的十分之一，未来一旦爆发生物危机，可以为人类赢得宝贵的破译时间；药监部门利用odps，全程监管药品流向，解决假药问题。“我们期待未来每一桶油、每一道菜的数据都跑在odps上，食品安全问题需要通过创新的方式来解决。” 目前，全球提供类似服务的仅有google和亚马逊，国内尚无同类产品可供比较。阿里云方面表示，odps将比google bigquery更强大，不仅支持更丰富的sql语法，还将提供mapreduce编程模型和机器学习建模能力，可以服务更多应用场景。
| 
发表于 2014-7-9 14:26:39
