终于知道大数据应该怎样学习

哪些项目是可以在真正的产品阶段使用的作为可靠的候选?哪些应该受到特别关注呢?我们做了详细的研究和测试，让我们一起看下5种新的撼动大数据的技术。这些是整理的几组新的工具，让我们一起来看看吧。以下是小编为你整理的大数据应该怎样学习  

Storm 和 Kafka 是未来数据流处理的主要方式，它们已经在一些大公司中使用率饿，包括 Groupon,阿里巴巴和The Weather Channel等。Storm,诞生于Twitter,是一个分布式实时计算系统。Storm 设计用于处理实时计算,hadoop主要用于处理批处理运算。

kafka是由LinkedIn研发的一款消息系统作为一个数据处理的管道基础部分存在于系统中。当你一起使用它们，你就能实时地和线性递增的获取数据。  

你为什么需要关心?  

使用Storm和Kafka,使得数据流处理线性的，确保每条消息获取都是实时的，可靠的。前后布置的Storm和Kafka能每秒流畅的处理10000条数据。  

像Storm和Kafka这样的数据流处理方案使得很多企业引起关注并想达到优秀的ETL(抽取转换装载)的数据集成方案。Storm 和 Kafka 也很擅长内存分析和实时决策支持。企业使用批量处理的Hadoop方案无法也难怪对实时的业务需求。在企业的大数据解决方案中实时数据流处理是一个必要的模块，因为它很优美的处理了“3v”–volume,velocity 和 variety (容量，速率和多样性)。Storm和Kafka这2种技术是我们(infochimps)最推荐的技术，它们也将作为一个正式组成部分存在于我们的平台中。Drill和Dremel 实现了快速低负载的大规模，即席查询数据搜索。它们提供了秒级搜索P级别数据的可能，来应对即席查询和预测，及提供强大的虚拟化支持。  

Drill和Dremel提供强大的业务处理能力，不仅仅只是为数据工程师提供。业务端的大家都将喜欢Drill和Dremel.Drill 是Google的Dremel的开源版本。Dremel是Google提供的支持大数据查询的技术。公司将用它来开发自己的工具，这些是导致大家都密切的关注Drill的原因。虽然这些不是起步，但是开源社区强烈的兴趣使得它变得更成熟。  

先进的报表创建工具  

报表创建工具能从用户的数据源转换数据成一个精美、雅致的报表。使用其交互式设计界面和高效的工作流程，可在几分钟内创建专业和高质量的报表。 丰富的图表和可视化的选项能提高用户的报表水准。一套全面的报表组件，如区域、子报表和交叉制表，让用户有个快速的开端来创建报表。  

智能模型设计  

运用我们精密的数据库设计和模型工具，你可以用图形表达你的数据库。使用实体关系图表来显现数据库结构及关系，这样你就可以更容易塑造，建立和理解复杂的数据库。  

强大的用户管理  

用户管理功能提升和管理每个用户的管理权限，不需输入任何命令，在数分钟内就能创建和编辑用户角色，借助这个精确控制的层面，可以在不影响数据库的安全性下，创建规则并让用户访问数据库。  

确保数据安全  

Navicat提供本机备份解决方案，当发生灾难时确保复原数据库，使用Navicat计划功能自动运行备份，并保存到本机硬盘或网络硬盘。  

随时随地运行  

Navicat创建一个批处理作业来运行几个任务。例如：打印报表、备份数据库、传输数据。用户可以设置电子邮件通知，安排在一个特定的时间，或在每天某些时间执行该批处理作业，并确保任务成功完成。无论身在何处，总能完成工作。  

如何选择框架  

Bokeh  

这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。  

Wolfram Alpha  

这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。  

Neo4j  

其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。  

云端的大数据

“云”其实指的是多台虚拟服务器的组合，云为不同的使用者提供一个计算的平台。这就是IaaS(基础设置即服务)，亚马逊的Amazon EC2和Amazon S3就是这样一个服务。  

IaaS带给你的是大数据计算的资源，而PaaS将为您提供更为高级的大数据服务。所谓平台即服务(PaaS)指的是提供各种开发解决方案和系统环境。按需使用的PaaS又称为中间件，极大的节省了部署环境的时间和成本。  

目前主要的大数据服务提供商是Amazon/Microsoft/Google，这些大型的服务商提供IaaS和PaaS的混合服务，以满足不同业务要求。其中Google专注于大数据应用的研究上，Amazon发力提供更多规模的大数据服务平台。