大数据必备的十大工具

预计到2020年，每人将产生1.7兆每秒的数据量。

那将有很多信息要处理。

一方面，对很多公司来说，大数据是一个游戏规则的改变者，它提供了我们过去从未开启的洞察力。另一方面，如果没有合适的工具，就不可能利用这些信息。为了充分利用任何大数据战略，公司获得管理、挖掘和理解数据的创新解决方案至关重要。

幸运的是，有很多开发人员正在创建我们需要的软件来布署数据环境。有鉴于此，我们列出了十个必备工具。

1

ElasticSearch

查找和跟踪数据对管理数据至关重要。ElasticSearch是当今市场上最强大的搜索引擎之一。作为分布式RESTful分析引擎，该解决方案帮助公司集中存储数据，从而提供更简单的信息控制。您还可以设置可靠的搜索功能，包括自动搜索、模糊搜索和全文搜索。

ElasticSearch也适用于多租户系统，因此对于在同一主系统的多个安装上工作的公司来说，它是一个经济高效的解决方案。特点包括:

• 查询:进行结构化、非结构化、度量和地理搜索，以发现见解。

• 分析:缩小并观察全局，探索数据趋势。

• 速度:为任何业务提供难以置信的速度。

• 可扩展性:可在个人笔记本电脑上运行，也可在数百台服务器上运行。

推荐语：《深入理解Elasticsearch(原书第3版)》这本Elasticsearch进阶实践指南，面向Elasticsearch的中高级读者，从设计原理、部署调优、高级特性、扩展开发等方面系统且深入地阐释Elasticsearch涉及的工具、方法、原则和最佳实践，帮助你全面提升技能，高效管理和使用Elasticsearch。

2

QlikView(Qlik)

Qlik是一个平台旨在将无限的数据转化为具有无限可能性的易于访问的信息。无论数据源有多重要，您都可以将所有内容合并到一个视图中，从而使混乱的细节更加清晰。

QlikView是基于Qlik的关联引擎构建的经典分析解决方案。您可以使用它来探索您的数据，也可以通过增强智能来获取智能见解。此外，支持多云体系结构来为一系列用例提供结果。特点包括:

• 导向分析和受控自助分析

• 可用的增强智能

• 现代广泛的数据连接

• 用智能可视化探索无边界

• 解锁大规模数据扩展

3

Tableau

被许多人认为是信息管理的圣杯，Tableau允许公司来获取他们大数据的真正力量。Tableau身临其境且易于使用，适用于团队和组织以及个人分析师。您还可以使用Tableau将分析功能嵌入到现有的工具和流程中。

作为最安全、最灵活的业务数据端到端平台之一，Tableau将您的业务信息提升到了一个新的高度。您可以安全地检查移动或桌面上的信息，访问内容发现功能，并进行深入分析。特点包括:

• 就您的数据提问并回答问题

• 使用APIs扩展您的分析功能

• 用可视化界面准备好您的数据进行分析

• 通过强大的权限和治理确保您的信息是安全的

• 在云中或内部连接您的所有数据

4

Flume

Flume是一个可靠的、分布式的、高度引人入胜的收集和聚集大量数据的服务。Apache Flume 具有灵活简单的架构，非常可靠且容错，尽管乍一看它似乎不是市场上最先进的工具。

Flume是Hadoop工具，开发人员可以使用它来收集各种来源的数据流并将其传输到一个集中的环境中。Flume也非常擅长管理各种系统之间的稳定数据流。特点包括:

• 对齐来自一系列不同资源的数据流

• 访问高度容错和可靠的故障转移机制

• 以流和批处理模式收集数据

• 结合社交媒体、传感器信息、应用日志等

• 将所有数据存储在中央空间

5

Tensorflow

世界上最著名的开源机器学习库之一，Tensorflow是谷歌用于人工智能的开源神器。作为一个端到端的开源平台，Tensorflow可以轻松地将您的数据转化为人工智能的燃料。除此之外，社区资源、库和工具的综合生态系统让研究人员和开发人员能够创建最先进的最大语言应用程序。

此外，借助tensorflow，公司可以找到简单的ml问题解决方案，具有简单的模型构建功能，以及强大的实验选项。功能还包括:

• 简单灵活的开源架构

• 机器学习的最新模型

• 简单的模型构建

• 内部、云中或设备上的强大毫升产品

• 一系列资源和社区支持

推荐语：《机器学习实战：基于Scikit-Learn和TensorFlow》国外AI“四大名著”之一，被称为机器学习图书最强的存在！前谷歌工程师撰写，Amazon人工智能图书畅销榜首图书！从实践出发，手把手教你从零开始搭建起一个神经网络。

推荐语：《白话深度学习与TensorFlow》技术畅销书《白话大数据与机器学习》姊妹篇，YY大数据专家撰写，李学凌、朱频频、王庆法、王海龙联袂推荐。以插图、类比和大量示例趣说深度学习网络的关键理念、算法与TensoeFlow实践，涵盖BP网络、CNN、RNN、受限玻尔兹曼机、深度残差网络、强化学习、对抗学习，以及多个有趣应用。

6

Apache Kafka

Kafka是Apache认可的实时处理和管理数据的大数据工具。Kafka经久耐用、容错且可扩展，最初是由领英开发的，旨在帮助他们克服批处理问题。Kafka平台处理传入的数据流，而不管它们的目的地或来源。

有了Kafka，公司每天可以处理无数的事件。此外，领英报道说他们的Kafka体系每天管理大约1万亿起事件。特点包括:

• 管理记录流

• 在数据流出现时对其进行处理

• 以持久、容错的方式存储信息

• 访问核心APIs以扩展kafka的能力

推荐语：《Kafka源码解析与实战》从LinkedIn（领英）公司内部大数据架构讲起，引申出消息队列Kafka，接着讲解Kafka的基本架构，然后着重分析Kafka内部的各模块实现细节。从诞生背景至架构组成，再到内部实现细节，由浅入深，循序渐进。

7

Cloudera

Cloudera宣称自己是“企业数据云公司”。云时代旨在为您提供对数据的更多控制，确保您能够从边缘收集和处理信息，一直到您的机器学习应用程序。

Cloudera还为公司提供了使用Cloudera数据流摄取、分析和管理实时流数据所需的工具。除此之外，还可以通过数据仓库将来自不同来源的数据汇集在一起。特点包括:

• 收集和分析来自多个数据流的数据

• 利用云时代数据仓库管理和转换您的信息

• 构建、部署和扩展机器学习解决方案

• 从边缘收集和处理数据

• 访问实时洞察

8

Apache Cassandra

得到了Datastax等市场领导者的认可，Apache Cassandra是一个分布式数据库，企业可以使用它来管理多台服务器上的大量数据集。作为管理结构化数据的最佳大数据工具之一，Cassandra提供高可用性服务，没有任何单点故障。

当您需要高可用性和可扩展性而又不影响性能时，Cassandra是一个绝佳的选择。Cassandra还支持跨多个数据中心进行复制，因此为用户提供了更低的延迟。特点包括:

• 容错数据管理

• 为了更好的内心平静，没有单点失败

• 可扩展的高可用性数据管理

• 在异步复制和同步复制之间进行选择

• 提供第三方服务

推荐语：《数据库系统内幕》高效内功修炼必备从数据库开发者角度，全景式解读现代数据库技术从存储引擎到分布式算法，涵盖所有常见组件和常用算法。

9

Apache Flink

Flink是一个开源框架，由 Ververica 商业公司主导。有了 Flink，企业可以访问分布式流处理引擎，在无界或有界环境中计算数据。

此外，这个工具的一大优点是它可以运行在您可以想到的所有集群环境中，包括Hadoop、Kubernetes和Apache Mesos。Flink特性还包括:

• 在几个抽象层次上访问有用的APIs

• 提供灵活的窗口

• 支持各种第三方连接器

• 容错性能和故障恢复

推荐语：《Flink原理、实战与性能优化》是一部以实战为导向，能指导读者零基础掌握Flink并快速完成进阶的著作，从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。

10

Apache Spark

最后，Apache Spark，对于使用大数据的公司来说，它是业内最令人兴奋的工具之一。这个开源工具填补了Hadoop解决方案在数据处理、实时和批处理数据方面的空白。Spark在处理数据的速度上比传统工具快得多，这对于数据分析师来说是非常好的。

Spark是已经使用Apache解决方案(如Cassandra或Flink)的公司的理想之选，它使您的数据处理项目的核心更加高效和有价值，有助于调度和分布式任务传输等工作。特点包括:

• 高速工作负载

• 易于使用的功能

• 访问实时和批量数据处理

• 在Hadoop、Kubernetes、独立或云中运行Spark

推荐语：《深入理解Spark:核心思想与源码分析》阿里巴巴集团专家鼎力推荐，阿里巴巴资深Java开发和大数据专家撰写。结合大量图和示例，对Spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读。

更多精彩回顾

书讯 |9月书讯（下）| 开学季，读新书

书讯 |9月书讯（上）| 开学季，读新书

资讯 |TIOBE 9 月编程语言：C++ 突起、Java 流行度下降

上新 | Webpack优化——将你的构建效率提速翻倍
书单 | 开学季——计算机专业学生必读的10本畅销经典

干货 | 使用pandas进行数据快捷加载

收藏 | 20张图片梳理工业软件全貌

视频 | 大佬出镜推荐不可不读系列——程序员陈彼得