搜索
大数据中国 首页 行业资讯 业界动态 查看内容
李文君:为什么做云志?
2015-7-22 10:12 |原作者: 李文君|来自: 云志网投稿| 查看: 2988| 评论: 0

我所在的公司是一家做运维产品的公司。在公司其他产品的开发过程中,我们发现各个产品都采用分布式的部署方式,这就意味着,数据的处理不一定会在哪台机器上进行,同样的业务一次可能由A来完成,第二次就可能由B来完成,当调试程序或查找问题时,需要一台台设备的登录,使用vi,grep等命令搜索相关日志,过程非常繁琐、非常麻烦。

同时,运维人员在设备维护过程中,需要随时关注几百台设备的运行状况,特别是设备的安全状况,例如:是否有恶意用户登录系统;哪个用户查看了敏感文件等等,每查看一个设备或系统都要单独登录查看,没有一个统一的地方可以查看所有日志,查看过程非常耗时。大中型信息中心的设备维护过程中,是否也面临这个问题呢,答案是肯定的。

如何解决上述问题,节省开发人员和运维人员的查找分析时间,提高效率,从而节省公司的成本呢?于是,我们决定做一款能够集中存储、搜索和分析日志的产品。

其实,很久之前,我们已经研究过日志,处理过安全事件的上传和查询分析工作,当时采用的传统数据库和查询方式,当事件(即日志)量达到一定数据量后,数据处理速度会变得非常缓慢,甚至难以忍受。因此,云志吸取教训,采用了大数据处理技术,而非传统数据库。数据在存储时就做了全文索引,所以搜索速度非常快,几百毫秒内即可从海量数据中获取想要的信息。

上述,就是云志的由来。

目前云志已于7月6日正式发布,主要采用syslog方式上传数据。鉴于95%的设备都支持syslog,所以云志能够满足至少95%的用户对日志的需求。当然,我们随后也会支持方式上传json格式的日志。为了更方便的收集和查看日志,我们针对不同的应用做了特殊处理,简化或优化了日志的配置过程,包括:nginx,jetty等。

作者介绍李文君,云志产品负责人,热爱大数据处理技术、前端技术,追求完美的UI设计,对新技术保持敏感。

免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除

最新评论

关闭

站长推荐上一条 /1 下一条

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-27 02:44 , Processed in 0.126976 second(s), 23 queries .

返回顶部