Java程序员使用的20几个大数据工具

柠檬学院大数据

　　最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。

　　这是一个系列，主题为：

　　语言、web框架、应用服务器、SQL数据访问工具、SQL数据库、大数据、构建工具、云提供商

　　今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。

　　在许多情况下，使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下，要么SQL数据库规模不够，要么还有更好的工具。这一切都取决于使用情况。

　　现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库，内存缓存，全文搜索引擎，实时流，图形数据库，等等。

　　MongoDB——一种流行的，跨平台的面向文档的数据库。

　　Elasticsearch——专为云而构建的分布式REST风格搜索引擎。

　　Cassandra——一个开源的分布式数据库管理系统，最初由Facebook开发，被设计用来处理横跨多个商用服务器的大量数据，提供了无单点故障的高度可用性。

　　Redis——一个开源的（BSD许可），内存数据结构存储，作为数据库、缓存和消息代理使用。

　　Hazelcast——基于Java的开源内存数据网格。

　　EHCache——一种被广泛使用的开源Java分布式缓存，用于通用缓存、JavaEE和轻量级容器。Ehcache相关介绍

　　Hadoop——用Java编写的一个开源软件框架，用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。

　　Solr——一个开源的企业搜索平台，用Java编写的，来自于ApacheLucene项目。

　　Spark——ApacheSoftwareFoundation中最活跃的项目，一个开源的集群计算框架。

　　Memcached——一个通用的分布式内存缓存系统。

　　ApacheHive——提供了Hadoop之上类似于SQL的层。

　　ApacheKafka——一个高通量、分布式的发布-订阅式消息系统，最初开发在LinkedIn上。Windows上脱离Cygwin运行ApacheKafka

　　Akka——一个工具包和运行时，用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。

　　HBase——一个开源的，非关系型的，分布式数据库，在谷歌的BigTable后建模，用Java编写，并运行在HDFS上。

　　Neo4j——用Java实现的开源图形数据库。

　　CouchBase——一个开源的、面向文档的分布式NoSQL数据库，特别为了交互式应用而优化。

　　ApacheStorm——开源的分布式实时计算系统。

　　CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。

　　OracleCoherence——一个内存的数据网格解决方案，通过提供快速访问常用数据的渠道，使得企业可预测地扩展关键任务应用程序。

　　Titan——一个可扩展的图形数据库，优化的目的在于存储和查询包含数千亿顶点和边的图形，分布在多机集群。

　　AmazonDynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务，用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。

　　AmazonKinesis——用于在AWS上的流数据的实时平台。

　　Datomic——一个用Clojure写的完全事务式的，支持云的，分布式数据库。

　　今日，我把这些分享给大家，希望大家能喜欢。