基于关系型数据库和ES搜索引擎实现多源百亿级数据的数据分析方案

easydatavis

背景：

随着公司各项业务的快速发展与扩张，服务器和各种应用系统随之而增加，同时对应用系统、服务器的稳定性，可持续性提出了更高的要求，公司希望搭建一套综合的分析与监控系统，为各个部分提供决策支持。

需要解决的问题：

（1）数据孤岛问题，数据分散在不同的业务系统当中；

（2）服务器日志信息如何有效搜集与存储；

（3）业务部门分析需求不固定，经常有新的需求提出，如何满足各部门的需求；

（4）基于上面的问题如何快速搭建多源的可视化分析系统；

技术选型与整体架构设计：

（方案一：业务数据ETL，基于数仓架构模式）

（方案二：采用数据直接模式）

（1）日志采集主要通过logstash来采集，然后存储到搜索引擎中；

（2）业务系统数据可以采用两种方案架构第一种是建设数仓，将不同数据汇集到数仓中；第二种：采用直连的方式直接对接大数据分析平台；

（3）大数据可视化分析采用NBI大数据可视化分析平台，可以实现多源数据分析，能很好的支持Elasticsearch，关系型数据库，大数据存储平台的数据接入；通过拖拽式和高度灵活的布局模式，可以快速构建各类可视化分析报告应用；通过权限控制，设置编辑与访问权限，保障企业数据资产的安全有效利用；

（4）最终通过NBI大数据可视化分析平台构建各类数据分析应用，输出给对应部门人员使用。

注意事项：

（1）Elasticsearch需要安装一个sql插件elasticsearch-sql，根据es对应版本下载插件，便于做交互式分析；

（2）NBI大数据平台中，目前对Elasticsearch支持的建模方式为SQL建模

操作步骤：

（1）在NBI大数据平台中，通过数据管理模块，添加Elasticsearch数据源；

（2）测试连接，检验是否能正常连接到Elasticsearch

（3）连接成功，通过SQL建立工作表模型

（4）构建数据报告：

（5）设置访问权限：

以上案例通过NBI大数据可视化工具（nbi.easydatavis.com:8033）完成