我所在的公司是一家做运维产品的公司。在公司其他产品的开发过程中,我们发现各个产品都采用分布式的部署方式,这就意味着,数据的处理不一定会在哪台机器上进行,同样的业务一次可能由A来完成,第二次就可能由B来完成,当调试程序或查找问题时,需要一台台设备的登录,使用vi,grep等命令搜索相关日志,过程非常繁琐、非常麻烦。 同时,运维人员在设备维护过程中,需要随时关注几百台设备的运行状况,特别是设备的安全状况,例如:是否有恶意用户登录系统;哪个用户查看了敏感文件等等,每查看一个设备或系统都要单独登录查看,没有一个统一的地方可以查看所有日志,查看过程非常耗时。大中型信息中心的设备维护过程中,是否也面临这个问题呢,答案是肯定的。 如何解决上述问题,节省开发人员和运维人员的查找分析时间,提高效率,从而节省公司的成本呢?于是,我们决定做一款能够集中存储、搜索和分析日志的产品。 其实,很久之前,我们已经研究过日志,处理过安全事件的上传和查询分析工作,当时采用的传统数据库和查询方式,当事件(即日志)量达到一定数据量后,数据处理速度会变得非常缓慢,甚至难以忍受。因此,云志吸取教训,采用了大数据处理技术,而非传统数据库。数据在存储时就做了全文索引,所以搜索速度非常快,几百毫秒内即可从海量数据中获取想要的信息。 上述,就是云志的由来。 目前云志已于7月6日正式发布,主要采用syslog方式上传数据。鉴于95%的设备都支持syslog,所以云志能够满足至少95%的用户对日志的需求。当然,我们随后也会支持方式上传json格式的日志。为了更方便的收集和查看日志,我们针对不同的应用做了特殊处理,简化或优化了日志的配置过程,包括:nginx,jetty等。 作者介绍:李文君,云志产品负责人,热爱大数据处理技术、前端技术,追求完美的UI设计,对新技术保持敏感。 |